皖口之戰後，南唐再也沒能力組織大規模抵抗，曹彬率領大軍順利抵達金陵城下，開始了長達數月的圍城之戰。那時的金陵城城高池深，糧草充足，要是強行攻城，肯定會造巨大傷亡。曹彬不願過多傷及無辜，就採取“圍而不攻”的策略：一方面派兵把金陵城團團圍住，切斷外聯繫；另一方面不斷派使者勸李煜投降，告訴他人“要是歸降，能保南唐宗室安全，百姓也能免戰火之苦”。

可李煜還心存僥倖，一邊派使者去北宋求和，一邊繼續堅守城池。圍城期間，曹彬嚴格約束部下，不許士兵擾城外百姓，甚至允許城中百姓出城買糧食。

圍城幾個月後，金陵城裡的糧草漸漸耗盡，士兵士氣低落，不將領都勸李煜投降，可李煜還是猶豫不決。曹彬見時機，就派人對李煜說：“現在城池被圍了這麼久，城裡百姓寒迫，再堅持下去恐怕會出變故。陛下要是願意歸降，臣可以向您保證：絕不傷害您和您的宗室、大臣，也絕不劫掠城中財。”李煜見大勢已去，終於在宋開寶八年（公元975年）十一月，率領南唐宗室和大臣出城投降，存在了三十九年的南唐政權正式滅亡。

破城那天，曹彬率領大軍進金陵城，下令封閉南唐的國庫，嚴士兵進；又派人保護南唐宗室和大臣的府邸，不許任何人擾。他自己則住在南唐宮殿里，每天理政務、安百姓，城裡秩序井然。有將領向他提議：“南唐宮裡有無數珍寶，不如拿出一部分賞賜給將士們？”曹彬搖頭說：“現在南唐歸了大宋，這些珍寶就是國家的財產，咱們怎麼能私分？”之後，他讓人把國庫里的珍寶一一登記造冊，派人送到開封給趙匡胤。

平定南唐後，曹彬率領大軍押解李煜和南唐宗室、大臣返回開封。趙匡胤親自到城門迎接，見曹彬率軍歸來時依舊紀律嚴明，將士們秋毫無犯，心裡大喜，當即任命他為樞使，掌管全國軍事，地位等同於宰相。這時有人對趙匡胤說：“曹彬平定南唐立下大功，要是再給他這麼高的職位，恐怕他權勢太大，對朝廷不利。”趙匡胤卻笑着說：“曹彬為人忠厚，不是那種恃功自傲的人。朕要是連這樣的功臣都不信任，以後誰還會為朕效力？”

果然，曹彬擔任樞使後，依舊保持着謙遜謹慎的態度，從不居功自傲。他每天按時上朝理政務，對下屬寬容大度，對同僚謙和有禮，就算遇到有不同意見的人，也不跟人爭執，而是耐心聽對方說完，再說出自己的看法。趙匡胤好幾次在朝堂上稱讚他：“曹彬不能率軍破敵，還能用德行服人，真是我大宋的棟樑之臣。”

宋太平興國元年（公元976年），趙匡胤駕崩，他的弟弟趙義即位，就是宋太宗。太宗即位後，對曹彬依舊信任，繼續讓他擔任樞使。那時北宋基本統一了南方，太宗就把目投向北方，想收復被契丹佔據的燕雲十六州。宋雍熙三年（公元986年），太宗決定發北伐，史稱“雍熙北伐”。他任命曹彬為幽州道行營前軍馬步軍都部署，率領東路軍作為主力，從雄州（今河北雄縣）出發直取幽州（今北京）；又任命田重進、潘分別率領中路軍和西路軍，從定州（今河北定州）、雁門關（今山西代縣）出發，配合東路軍行。

那時曹彬已經五十六歲，依舊心繫國事。他清楚這次北伐事關重大——燕雲十六州地勢險要，契丹軍隊勇猛善戰，絕不是容易對付的。臨行前，太宗對曹彬說：“東路軍是全軍主力，你一定要謹慎行事、穩紮穩打，等中路軍和西路軍攻克各自目標後，再跟他們會師，一起攻打幽州。”曹彬躬領命：“臣一定遵旨，不敢有毫懈怠。”

北伐初期，宋軍進展很順利。西路軍在潘率領下，先後攻克了雲州（今山西大同）、應州（今山西應縣）等州郡；中路軍在田重進率領下，也攻克了飛狐口（今河北淶源北）等軍事要地；東路軍在曹彬率領下，先後拿下固安（今河北固安）、涿州（今河北涿州）等地，兵鋒直指幽州。

可形勢很快就變了。契丹皇帝遼聖宗耶律隆緒知道宋軍北伐的消息後，立刻任命耶律休哥為南京留守，率領大軍抵東路軍；又任命耶律斜軫為山西路兵馬都統，率領大軍抵西路軍和中路軍。耶律休哥是契丹名將，擅長用兵，他知道東路軍是宋軍主力，只要打敗東路軍，宋軍的北伐就會不攻自破。於是他定下“游擊擾”的策略，不跟曹彬的大軍正面鋒，而是派小騎兵不斷襲擊宋軍的糧道，搶奪糧草。

曹彬率領東路軍攻克涿州後，糧草漸漸不夠了，士兵士氣也開始低落。他派人向太宗請求糧草支援，可太宗覺得曹彬進軍太快，違背了“穩紮穩打”的初衷，下令讓他暫時撤退到雄州，等中路軍和西路軍的消息。曹彬只能率軍撤退，可他麾下的將領們不願意——大家覺得一路攻克城池、戰功赫赫，現在因為糧草不足撤退，會被人笑話。曹彬知道將領們的想法，可也明白糧草不足的危害，他反覆勸說，可將領們還是堅持要繼續進軍。

就在這時，耶律休哥率領的契丹大軍漸漸近。曹彬見沒法說服將領們，只能下令再次進軍涿州。可那時的宋軍已經疲憊不堪，糧草又不夠，行軍速度很慢。耶律休哥抓住這個機會，率領大軍在岐關（今河北涿州西南）設下埋伏，等着宋軍到來。

。下直轉急此因也局戰的伐北熙雍，沒覆軍全乎幾力主軍路東軍宋，戰之關岐。）縣易北河今（州易到退撤，圍突部殘領率能只彬曹，盡殆失損兵、草糧，數無傷死兵士軍宋。局敗回挽法沒究終卻，抗抵揮指力然雖彬曹。了就子下一軍宋，來出殺面四從隊軍丹契。伏埋的隊軍丹契了陷然果，後關岐達抵軍宋

。終告敗失底徹軍宋以伐北熙雍，此至。憾古千了，死而食絕後俘被，眾敵不寡、戰軍孤為因業楊將副，時退撤軍路西。退撤紛紛也，後息消的敗戰軍路東道知軍路中和軍路西

。軍將上衛驍右為貶，去削位職使樞的彬曹把宗太，後之”。力效家國為再會機有後以，息休家回先你。任責有也朕，敗失次這，的意故是不你道知朕“：說氣口了嘆他是於。因原要重是都，足不應供草糧、求於急們領將——錯的彬曹是全不敗失次這道知也卻，滿不有雖裡心，涕流哭痛彬曹見宗太”。罪治下陛請懇，責罪有所擔承意願臣，重慘失損、敗戰軍大致導，軍進然貿意旨下陛背違，能無臣“：說着哭痛上堂朝在跪他。罪請宗太向刻立，封開到回彬曹，後敗失伐北

。事軍國全管掌次再他讓，位職使樞的彬曹了復恢宗太，）年889元公（年元拱端宋。很裡心，耿耿心忠舊依卻，謫貶了遭然雖彬曹見宗太。議建的防邊對己自出提，書上宗太向常時還，勢局境邊注關，法兵讀研家在天每他。事國着挂牽舊依，沉消有沒彬曹的後貶被

。歲九十六年，逝病彬曹，後久不”。山江的宋大住守，姓百待善能下陛盼只，愿心的別麼什沒臣“：說地弱虛彬曹。愿心麼什有還他問手的他着握，探上府他到自親宗真，重病彬曹，）年999元公（年二平咸宋。遇待的相宰他讓，事章平同為他授加意特還，重敬加更彬曹對，位即宗真宋，）年799元公（年三道至宋。怠懈毫有敢不，任重負肩己自道知他。務政理持堅舊依卻，弱衰越來越，甲花過年經已彬曹時那

。記銘人後得值舊依，年千了過便即，人的樣這。子君的史青亮照行德用位一是更，”將良一第國開“是僅不他，評所》史宋《如正。行品的慎謹遜謙着持保終始也，位高居怕哪，辜無殺濫不從，厚仁軍治生一他，是的得難更。餒不怨不、守自心忠以能也，利失伐北便即；勞功馬汗下立一統宋北為，唐南滅消、蜀後定平他，生一彬曹觀縱。見罕為極中領將的年初宋北在，譽榮份這——庭廟祖太配他讓還，”惠武“號謚，令書中為他贈追宗真，後世去彬曹