宣帝还在民间的时候，就已经有了结发妻子许平君，是曾被两度处刑的小吏许广汉之女。宣帝继位前，两人也已经生下了一个儿子，即日后的汉孝元皇帝刘奭。宣帝既已继位，原配许平君当然应该被册封为皇后——可惜事情却并没有那么简单。
霍氏为了继续拉近自己和皇族间的关系，就把霍光的女儿霍成君嫁给宣帝，并且想让她跳过许平君成为皇后。宣帝初入宫时，许平君还未正位中宫，仅给了一个婕妤的封号，这就使得霍氏有机可乘，怂恿朝臣上奏请立霍成君。宣帝不敢明确表态说想立结发妻子为皇后，他转弯抹角地对身边的侍卫说：“朕当年寒微时的佩剑在哪里？去为朕取来。”群臣听闻此事，立刻就明白了皇帝的心意，改变态度，请立许平君为后。
当然霍氏并不肯就此善罢甘休。霍光的夫人霍显一心想使女儿霍成君登上皇后宝座。当初一步失算，让许平君抢了先，霍显极度失望，她日思夜想，最终下了狠手。本始三年（前71）正月，许平君分娩在即，被霍显派人进献毒药害死了。
宣帝派人调查皇后的死因，虽然包括他本人在内，大家全都心中有数，可是不敢因此得罪霍氏，此事最终也就不了了之了。皇后宝座就此空了出来，3个月后，立霍光之女霍成君为皇后。
霍光的元配为东闾氏，只生有一个女儿，嫁给了上官安为妻，所生的女儿就是昭帝的皇后，如今的上官皇太后。东闾氏有个婢女名叫霍显，也受霍光宠爱，纳为侍妾。东闾氏死后，霍光就将霍显升为继室。霍显所生的几个子女中，最小的女儿就是霍成君。这样，皇宫中就出现了咄咄怪事，从皇室辈分来看，霍皇后是上官皇太后的儿媳，但从霍家辈分来算，霍皇后却是上官皇太后的姨妈。霍皇后倚仗其母权威，根本不把皇太后放在眼里，骄纵任性，宣帝对她相当头疼，却又无计可施。
霍氏一门位列高官的很多，显赫无比。宣帝每次出巡，乘坐御车，都由霍光骖乘（同车陪坐），大司马虽已年老，依旧态度庄严，威风凜凜，宣帝总感觉有芒刺扎着自己的脊背，浑身都不自在，并且一刻也不敢放松警惕——这就是成语“芒刺在背”的由来。最终霍氏一门族灭，所以民间都说：“威震主者不畜，霍氏之祸萌于骖乘。”
一直到地节二年（前68）三月，也即宣帝继位8年以后，执政长达20年的大司马大将军霍光，才终于寿终正寝了。次月，宣帝拜张安世为车骑将军、大司马，录尚书事，主持朝政。张安世资格较浅，党羽不丰，宣帝终于可以大松一口气，再不感觉芒刺在背了。
霍光虽然权倾朝野，有废立皇帝的实力，但他终究并没有篡位之心，因此史书上把他比作周公、伊尹一般的辅政贤臣。可惜霍氏并没有像样的继承人，霍光死后，家族成员没有基本的政治警惕性，反而更加骄奢淫逸，大修府邸，游猎无度。
御史大夫魏相上书，认为应当损夺霍氏一门的权力。早就想扳倒霍氏的宣帝立刻准奏，罢免霍光女婿、度辽将军、卫尉范明友等人的兵权，改调文职。霍光之子霍禹虽然不久后就继任为大司马，但已经是有职无权了。宣帝升魏相为丞相，邴吉为御史大夫，用这两个要职传统的外廷权力，逐步架空了霍氏的行政大权。
霍氏为了保住权势，自然希望立霍成君所生的儿子为太子，将来继承皇位，因而视宣帝和许平君所生的太子刘奭为眼中钉，肉中刺。为了防止皇后霍成君谋害太子，宣帝对太子百般呵护，甚至每顿饭都要试毒，以防被害。霍成君终于无法得手。
霍氏见权势被剥夺，又害怕宣帝会追究毒杀许皇后之事，终于起了篡位之心。地节四年（前66）七月，大司马霍禹与其母霍显，侄子霍云、霍山（皆霍去病之孙），以及霍光的女婿范明友、邓广汉等密谋发动政变，想先诛杀丞相魏相、平恩侯许广汉，然后废黜宣帝，拥霍禹做皇帝。
然而行动还未及展开，就遭人告发，宣帝下令大肆搜捕霍氏党羽。霍山、霍云、范明友等自杀，霍禹被腰斩，霍显及其姐妹皆斩首弃市，受此案株连而被族灭的有数十家。当年八月，霍皇后被废，幽禁于上林苑的昭台宫，12年后自杀身亡。自武帝以来贵盛一时的霍氏家族，终于遭到灭顶之灾。
族灭霍氏以后，宣帝终于获得彻底自由，可以大展拳脚了。但他之所以翦除霍氏，只是为了夺回本该属于自己的权力，而对于霍光从武帝末年就开始实施的罢兵力农、思富养民的政策，却基本没有改变。因此，“昭宣中兴”，实际上从始至终都贯彻着霍光的施政纲领。