祁连山西南部为青海省海北州。在西汉时期，海北州为西羌故地。汉平帝元始四年(公元4年)，王莽在今海晏县设置西海郡。两汉时，有名的胡羌道和羌中道已经形成，成为丝绸之路的辅道。胡羌道穿越今门源县和今祁连县，东晋法显和尚西行求经，即经此道。隋炀帝西征吐谷浑时，由湟水谷地西行，沿长宁谷西北行，越达坂山，经门源、祁连，穿大斗拔谷(今扁都沟)，到达张掖。羌中道穿越今海晏、刚察县，南朝僧人昙无竭，北魏僧人宋云等，都由此道入西域转往天竺。南北朝和隋朝时，今海北州为鲜卑族、吐谷浑所据。唐代，属吐蕃王朝管辖。宋朝时，为角厮啰地方政权辖区。元代，归宣政院吐蕃等处宣慰司都元帅府管辖。明末，为蒙古族麦力干的游牧地。清雍正二年(1720xx年)以前，为厄鲁特蒙古各部的游牧地。雍正三年，门源设立大通卫，属西宁府辖治。乾隆九年(1744年)，移大通卫于大通县池镇。乾隆二十六年(1761年)改卫为县，门源为大通县属地。民国6年()，海晏属湟源县和都兰理事辖治。民国20xx年()设置门源县。刚察为都兰理事辖区，由青海省辖治。民国20xx年(1937年)设海晏设治局。刚察为省政府直辖。民国20xx年(1939年)由门源县析置祁连设治局。民国32年(1943年)海晏设县。1953年成立祁连县、刚察县。1953年年底成立海北藏族自治区，1955年改自治区为自治州。州府驻地原在门源县浩门镇，1993年7月经国务院批准搬迁至海晏县西海镇(原国营221厂)，海拔3100米，距西宁104公里。
西北部的肃北蒙古族自治县，西晋设县，之后历朝都在这里设镇置县。民国20xx年(即1937年)设肃北设置局，1950年7月22日解放，7月29日正式建立肃北蒙古族自治县。