南越王原本無意殺掉呂嘉，呂嘉也深知這一點，因此歷經數月始終沒有手。太後因為是中原人，南越人都不依附於，所以特別想殺掉呂嘉等人，但漢朝使者太弱，不敢為太後作主，太後也沒有辦法。

漢武帝得知南越丞相呂嘉，不服從南越王，南越王又不能制服呂嘉，漢使臣膽怯不敢決斷。漢武帝覺得一個丞相作，無須大兵征討，就想派庄參率兩千將士出使南越國。庄參以為想用武力解決南越問題，兩千人肯定辦不到，便推辭自己不能勝任，漢武帝就不讓他去了。

原濟北王丞相韓千秋自告勇說：一個小小的南越，又有國王和太後做應，只是呂嘉從中破壞，我願意率二百勇士前往，一定殺了呂嘉，向天子報告。

漢武帝派韓千秋和太後的弟弟樛樂，率二千人馬奉詔進南越。他們進南越境，呂嘉便起兵造反，並向南越國下令，極力貶謫國王、太後一心歸漢，不以南越國利益為重，把南越國珍寶都獻給漢天子，討好諂天子。本不為南越國後世做謀划。

呂嘉決定反叛，同弟弟率兵攻打王宮，殺死了南越王、太後、漢朝使臣。另立明王與南越籍妻子所生的兒子趙建德為南越王。這時韓千秋所率兩千人馬已進南越境，沒有遇到抵抗。當進距王都約四十里的地方，呂嘉派兵，前後夾擊，韓千秋的兩千人馬，全部被消滅。

漢武帝得知呂嘉反叛，殺死南越王、太後及使臣，並消滅了韓千秋的軍隊，大怒，立即下詔令討伐南越叛賊。元鼎五年秋天，任命衛尉路博德為伏波將軍，率兵從桂出發，共四路大軍，水陸齊進，向南越國進發，各路大軍在王都番禺會師。

元鼎六年冬天，樓船將軍率領銳士卒，首先攻下尋陝，然後攻破石門，繳獲了大量南越的戰船和糧食，乘勝向前推進，連續幾個勝仗，挫敗南越的先頭部隊，率數萬大軍，等侯伏波將軍的到來。

伏波將軍率領被特赦的罪犯，道路遙遠，誤了會師的日期，按時與樓船將軍會師的士兵才一千餘人，與樓船將軍一同前進，直番禺城下。趙建德和呂嘉都在城中防守，樓船將軍駐兵番禺的東南面，伏波將軍駐軍在番禺西北邊。

伏波將軍安營紮寨後，就派使者進城招納南越人投降，南越人平時就聽說過伏波將軍的大名，如今天黑，也不知道伏波將軍有多軍隊。此時樓船將軍已攻破東城門，並放火燒城。城中的南越兵都跑到伏波將軍的軍營投降。待到天亮，全城的南越兵都投了伏波將軍。

呂嘉和趙建得帶領幾百個部下，在夜裡逃到海上，乘船向西逃去。伏波將軍詢問投降的南越兵，弄清了呂嘉的去向，立即派人追捕。呂嘉和趙建德都被伏獲。

因呂嘉反叛，南越被滅國。