匈奴是生活在北方蒙古草原上的古老游牧民族，战国后期开始发展起来，不断征服周边其它游牧部落。秦始皇曾派大将蒙恬率30万大军北伐匈奴，却没能取得预期的成果。秦二世元年（前209），冒顿袭杀其父头曼，继任单于之位，其后东平东胡，北并丁零、薪犁等部，使匈奴的疆域空前广大，东到辽东半岛，西达葱岭，南收被秦朝时夺去的河套地区，实力极为强盛。
楚汉战争和西汉建立之初，北方许多割据政权如韩王信、陈豨等都勾结匈奴，引导游牧骑兵攻击长城以南地区。汉高祖刘邦北伐匈奴，结果被围于平城（今山西大同西北）白登，整整七天七夜才得脱险。
刘邦意识到中原残破，还无法与匈奴正面较量，于是采纳娄敬的建言，用和亲之策换取暂时的边境和平。所谓和亲，即汉朝公主远嫁匈奴，做单于的阏氏（王后），作为公主的陪嫁，还有大量珍宝锦缎，源源不断送去匈奴王庭。
虽说皇帝并舍不得真把亲生女儿送那么老远，一般都是从宫中或宗室里认个干闺女假冒公主之名，最高档次也不过翁主（王、侯之女）而已，但这种单方面的和亲政策，本身就具有极大的屈辱性。
即便如此，和亲政策也并不能维持长久和平。匈奴以游牧为生，靠天吃饭的程度比农耕民族更为严重，一旦天气寒冷而牧草大面积死亡，或者牛羊感染大规模瘟疫，匈奴贵族把汉朝公主的陪嫁也吃完用完了，就会挥兵南下抢掠，才不管和汉朝是否儿女亲家呢。
从高祖、惠帝、高后，到文、景两朝，屡次和亲，最多也就能维持三年和平局面，超过三年，匈奴骑兵就会大掠北境，然后西汉朝廷就又必须再次考虑和亲的问题。
这种被动挨打的局面，任何有志向，不苟且的皇帝都是不能容忍的。文、景时代，大力巩固北方边防，选任良将，整饬军备，随时做好和匈奴正面较量的准备，但因国力问题，最多也就是将匈奴骑兵逐出塞外，既不敢远追，杀伤也很少。到了武帝登基，四海晏平，国库充实，他开始考虑转守为攻，要彻底解决边患问题了。
战争的序幕是从马邑伏击战开始的。武帝元光元年（前134），匈奴又来请求和亲，武帝召集大臣们商议，比较熟悉匈奴情况的大行王恢说，双方每次和亲，过不了几年的时间匈奴就会背弃盟约，不如放弃和亲之策，而派兵攻打匈奴。
但御史大夫韩安国坚决反对，说：“就算得了匈奴的土地，也无法耕种，吞并了它的部众，也无法驾驭。况且我们出兵千里，士卒必然疲惫，匈奴趁我疲惫来攻，军队必然覆灭。臣以为最善策莫过于和亲。”
韩安国是善战的名将，连他都反对出兵，大臣们遂纷纷附和。武帝没有办法，只好再次选送“公主”出塞。可是主战的王恢不肯罢休，第二年他胸有成竹地向武帝建议说，可以诱使匈奴单于南下，打一场伏击战，歼灭其主力，这样不用千里用兵，也能得利。原因是马邑（今山西朔县）土豪聂壹愿意诈降匈奴，引诱匈奴大军犯边。
年轻的武帝认为这是个大好机会，不可放过，于是在元光二年（前133）六月，以韩安国为护军将军，李广为骁骑将军，公孙贺为轻车将军，王恢为将屯将军，李息为材官将军，率30万大军齐集马邑周边设伏。然后让聂壹去对匈奴军臣单于说：“我愿意刺杀马邑的汉官，举城投降，那您就可以不费力气得到全部财物。”
马邑设伏其实是军事史上的一个大笑话，30万大军的行动怎么可能保密？无法保密的伏击战，怎么可能成功？军臣单于一开始倒是相信了聂壹的诈降，亲率十万骑南下，但等他到了距离马邑百余里的地方，突然发现满山遍野都是牲畜，却没有一个牧人，终于起了疑心。于是派兵夺取附近的汉朝哨所，捉了名小军官来询问。这一下军事秘密彻底泄露，单于大惊，匆忙退走，汉军追赶不及，劳而无功。事后，王恢畏罪自杀。
马邑设伏是失败了，不但失败，从此汉、匈两家等于断绝正常的外交关系，进入战争状态，汉朝的北部边境更是危如累卵。不过两国间持续数百年，直接决定双方国运的大战，也正是从这个大笑话开始的。
元光六年（前129）冬，汉、匈之间爆发了第一次大规模战役，是为关市反击战。关市即指汉、匈边境上的通商贸易点，当时武帝面对匈奴对上谷郡的大规模抢掠，派车骑将军卫青出上谷，骑将军公孙敖出代郡，轻车将军公孙贺出云中，骁骑将军李广出雁门，每路万骑，指示说：“击胡关市下。”
此刻匈奴主力正在阴山以南活动，兵数比汉军要多，灵活性比汉军要强，战争的结果，只有卫青杀敌700，取得小胜，其余各路，公孙敖战败损失7000骑，公孙贺毫无斩获，李广竟然被匈奴擒获，后来在押送途中夺得马匹，单骑逃回。
关市之战后，武帝和大臣、将领们总结教训，秣兵厉马，准备再次北伐。此后，从元朔二年（前127）年起，到元狩四年（前119）止，8年间大规模发兵五次，终于转败为胜，取得了对匈奴作战的巨大成果。