武帝前期，所以能在对匈奴的作战中取得大胜，和他善于选拔将才，以及鼓励养马，都是分不开的。匈奴号称有“控弦之士三十万”，骑兵兵力极为强盛，汉军用来制约匈奴骑兵的，只有强弓硬弩，但汉弩虽然冠绝天下，却无法主攻，只能用来防守。
为了打破这种不利局面，文帝在位时就鼓励民间养马，规定百姓有马一匹，可以免除家中3个人的兵役。景帝开始大规模国家养马以备军用，到武帝继位时已有军马45万匹。
武帝为了增加京城的骑兵数量，特别在南军中设立了期门军千人和羽林军左骑800、右骑900，选精于骑射的“六郡良家子”为郎官，担任皇帝的侍卫。他经常带着期门、羽林去打猎，藉此培养人才，选拔将领。名将卫青、霍去病就出身于此。
卫青原本是武帝长姐平阳公主的马奴，因为武帝看上了他的姐姐卫子夫，带入宫中为嫔妃，所以提拔卫青为羽林郎。霍去病是卫青的外甥，也因为裙带关系得到重用。但这两个人和许多其他外戚不同，不但有能力，更有雄心，终于成为武帝北击匈奴的左膀右臂。
河套以南地区气候温和，适于驯养骏马，秦末为匈奴夺取后，匈奴骑兵经此南下，一日即可驰至长安。所以汉武帝的第一个进攻方向，就是指向河南地，夺取了河南地，既能解除长安北方的威胁，更能作为进攻的前线基地，给匈奴以重大打击。
元朔二年（前127）春季，匈奴入侵上谷、渔阳等郡，杀掠吏民千余人。汉武帝趁着胡骑东进之机，避实就虚，派车骑将军卫青、将军李息等部由云中出发，沿黄河河套进行深远迂回，直指陇西。此战出敌不意，从匈奴右贤王和白羊王、楼烦王领地中间穿插而过，最终包围白羊、楼烦两王，给予沉重打击。
汉军大获全胜，斩首2300级，俘获3000余人，牛羊百余万头，而自身的损失非常之小。战后，武帝在河南地置朔方郡，筑朔方城（今内蒙古乌特拉前旗东南），并且重修已经毁弃的秦代长城。
就在汉朝从守势转变为攻势的时候，匈奴内部却发生了分裂。元朔三年（前126）冬，匈奴军臣单于去世，其弟右谷蠡王伊稚斜自立为单于，军臣单于子于单降汉。伊稚斜登上单于宝座后，为了转移内部矛盾，南下侵扰更为频繁。武帝遂开始酝酿更有力的反击。
匈奴群王，单于以下，以左、右贤王最为尊贵。前此汉军攻取河南地，在右贤王的眼皮底下机动迂回，视其若无物，朔方郡建立后，恼羞成怒的右贤王遂屡屡南下，发起疯狂反扑。此次进攻的目标，就是右贤王部，只要重创匈奴右贤王，就可将整个匈奴帝国东西拦腰切断，一分为二。
元朔五年（前124），汉军使用声东击西之策，武帝派将军李息、张次公率数万人从右北平出击，牵制东方的匈奴军队，同时以车骑将军卫青率3万精骑从高阙（今内蒙古潮格旗东南）出发，游击将军苏建、强弩将军李沮、骑将军公孙敖、轻车将军李蔡从朔方出发，总兵力超过10万，远程奔袭右贤王庭。
卫青行动非常神速，等他杀到右贤王庭的时候，匈奴右贤王还以为汉军远在数百里外，放心地饮酒醉卧。卫青发起总攻，活捉右贤王麾下裨小王十余人，虏获男女1.5万余人，辎重物资无数。右贤王仅带爱妾一人，狼狈突围而走。
得到胜利消息后，武帝大喜，立刻派使节持大将军印，到军中拜卫青为大将军，授命他统帅诸军。
袭击右贤王部，斩断了匈奴单于的一条臂膀，但单于主力却依旧未损，为了报复，更为了扭转战局，伊稚斜更加频繁地南下侵扰。于是元朔六年（前123）二月，第三次大规模战役开始了。
武帝命大将军卫青率中将军公孙敖、左将军公孙贺、前将军赵信、右将军苏建、后将军李广、强弩将军李沮等部，共十余万人，由定襄出发，北伐匈奴，希望趁单于本部右翼暴露之机，一举歼灭之。卫青出塞后不久，就遭逢单于主力，打了一次击溃战，杀敌数千人，随即返回定襄、云中、雁门休养。四月，卫青再次出塞远征，因为进攻路线没有改变，所以被单于预先命令左贤王部向西靠拢，得以从侧翼夹击汉军。
战斗结果，胜负参半：苏建部伤亡殆尽；赵信原是匈奴小王来降，兵败后又投降匈奴；只有卫青再遇匈奴主力，歼灭万余人。
此次战役，可谓打了个平手，但一员年轻将领却从中脱颖而出，给匈奴以极大的震撼——那就是卫青的外甥霍去病。霍去病跟随卫青北征，率800骑前出大军数里，杀敌2028人，斩了单于的祖父辇藉若侯产，俘获单于的叔父罗姑比及相国、当户等贵族。武帝因他的功绩，加封为冠军侯——此时霍去病年仅18岁。
在此前不久，张骞第一次出使西域归来，向武帝禀报说：“西域诸国也都苦于匈奴的侵扰，如果我们与其联合，就可以给匈奴以沉重打击。”武帝遂决定打通河西走廊，远通西域。元狩二年（前121）春季，派骠骑将军霍去病率1万精骑突袭驻扎在河西的匈奴军。
此时匈奴主力已经远遁漠北，霍去病遂长驱直入，从陇西出发向西北挺进，大破匈奴浑邪王、休屠王所部，杀折兰王、卢侯王，俘虏浑邪王的儿子、相国、都尉等，抢走休屠王的祭天金人，总计斩、俘8960余人。河西走廊被一举打通。
同年夏季，汉军再次分东、西两路北征，霍去病走西线，又获大胜，东线却损兵折将，李广遭遇匈奴左贤王主力，几乎全军覆没。战后，浑邪王和休屠王因害怕遭到单于惩罚，率众降汉。
匈奴单于从上次战败后，就用降将赵信计，逃遁漠北，以为汉军无法远出，可以暂时隐忍，积聚实力，以图卷土重来。元狩四年（前119）春，武帝决定将计就计，以强大兵团深入漠北，寻求与匈奴主力决战，遂派大将军卫青率前将军李广、左将军公孙贺、右将军赵食其、后将军曹襄，以5万骑兵为主力，出代郡进攻匈奴左贤王，派骠骑将军霍去病率骑兵五万为主力，出定襄，直驱漠北进攻匈奴单于。
此次战役规模巨大，除两路军10万人外，还有编制外的“私负从马”4万匹跟随前进，后面有步兵数十万掩护辎重。
武帝一心想把最难啃的骨头留给霍去病，出兵前得到假情报说，单于主力在东，遂命令前线两军调换出发地和目标。但等大军出塞后，才发现单于仍然在西，卫青遂直取匈奴主力，在漠北展开决战，厮杀整日，伤亡相当。
最后单于不支，趁夜逃走，卫青追击到阗颜山赵信城（今蒙古杭爱山南端），虏获大批辎重物资，余粮全部烧掉。计前后共歼灭匈奴兵1.9万余人。
相对的，霍去病出塞后即遭遇匈奴左贤王部，奋战取胜，追击到狼居胥山、姑衍（均在今蒙古乌兰巴托以东），祭天立碑而还。总计俘虏屯头王、韩王等3人，将军、相国、当户、都尉等83人，其余人等7万余。匈奴左贤王部逃走的还不到十分之二。
经过此次战役，匈奴实力遭到重创，此后再不敢在漠南设置王庭。困扰汉初近百年的北部边患，算是基本得到解决了。