南越王趙胡因病去世了，太子嬰齊即位做了南越王。嬰齊即位後就把先祖趙佗曾經稱帝的印璽藏了起來，不敢再稱帝。

嬰齊在長安做宿衛時，娶了邯鄲樛家子為妻，生個兒子趙興。待到他即位，便向漢天子上書，請求立妻子樛氏為王後，趙興為太子。漢朝屢次派使者婉轉勸告嬰齊要朝拜見天子，嬰齊喜歡自己掌握生殺大權，懼怕進京朝拜天子，會被強迫和地諸侯一樣，執行漢朝法令，因此也推託有病，不肯京，只是派兒子次公京當宿衛。

嬰齊死後，太子趙興即位，他的母親樛氏做了太後。樛氏在沒嫁給嬰齊做妾時，曾經同霸陵人安國季通。等到嬰齊死後，漢朝派安國季前去規勸南越王和太後，讓他們依照地的諸侯，進京朝見皇帝。並命大夫終軍拿着詔令，宣諭南越王。

安國季做為漢朝使臣，來到南越國與太後再次相遇，又舊復燃。因太後是中原人的原因，南越人大多不依附太後。太後害怕發生，就想依靠漢朝的威力，來鞏固自己的勢力。就屢次勸說南越王和群臣請求歸屬漢朝，又通過使者上書天子，請求和地諸侯一樣，每隔三年朝一次，撤除邊境關塞。

天子隨即答應了他們的要求，賜給南越丞相呂嘉一枚銀印，也給史、中尉、太傅等都賜了印，其餘的職由南越王自己委任。廢除了南越國的法律，沿用漢朝的法律，和地諸侯一樣。使者都留下來安南越。南越王及太後開始準備行裝和禮，為朝做準備。

南越丞相呂嘉年紀大了，輔佐過三位國王，他的宗族當做長史的有七十多人，男子娶的都是王室子，子嫁的都是王子及其兄弟宗室之人，同蒼梧郡的秦王也有聯姻關係。呂嘉在南越國地位非常顯要，南越人民都很信任他，比南越王還得民心。

當南越王要上書天子，要求附時，他屢次勸阻，但國王沒聽。他因此產生了反叛的念頭，多次託病不去會見漢朝使者。使者也都注意到呂嘉這個人，只是因為形勢的關係，沒有誅殺他。

南越王和太後害怕呂嘉先手，就設置酒宴，想藉助漢朝使者的權勢，除掉呂嘉等人。宴席上，使者面朝東而坐，太後面朝南，南越王面朝北而坐，丞相呂嘉及大臣都面朝西陪着一起飲酒。呂嘉的弟弟是將軍，率軍守候在宮外。

酒席宴中，太後對呂嘉說：南越國歸屬朝廷，這對國家是有利的，可是丞相您卻總說不好，這是為何？

太後把問題擺在桌面上，想藉此激怒漢朝使者殺了呂嘉。但使者們滿腹狐疑，面面相覷，始終沒有發作。呂嘉見座中人臉不對，到不祥，當即起出去。太後大怒，想派人用矛刺殺呂嘉，被南越王阻止了。

呂嘉出來後，分取他弟弟的軍隊，護衛他回到府中，從此便託辭有病，不再去見南越王和使者，暗地裡勾結大臣準備謀反作。