元光五年，帝下诏令，废陈氏，收其皇后玺绶，置退，废居长门宫。甘泉宫中，捕为巫蛊者，皆斩。后由是隐去，数年不复见。元朔元年，皇子据生，卫子夫遂以子贵，得登后位，卫氏遂成贵戚。
卫后之外，赵之王夫人幸，有子，为齐王。俄而，王夫人触犯龙颜，贬入掖庭，以忧死。
而楚之李美人有幸，有一子一女，子为燕王，女即盖长公主。
元朔二年，上亲迎后归来，使之居于昭阳殿中，恩宠日深，竟过昔日后在位之时，先后诞下一女一子，女为广玉长公主，男即昭帝。然则，帝终身不复议再立后之事，世人遂隐指其为“昭阳殿中人”。今民间以昭阳为中宫正殿，竟不知武帝之前，历代皇后皆以椒房为中宫。
后既归，与卫氏便成死敌。其时，卫子夫已立为皇后。先是卫长君死，乃以卫青为将军，击胡有功，封为长平侯。青三子在襁褓中，皆封为列侯。及卫皇后姊卫少儿，少儿生子霍去病，以军功封冠军侯，号骠骑将军。青号大将军。卫氏枝属以军功起家，五人为侯。天下歌之曰：“生男无喜，生女无怒，独不见卫子夫霸天下！”
卫氏贵震天下，昭阳殿中人心皆惴惴，而陈后视之泰然，常赐宴殿中，以安人心，笑指一物，道：“此乃螃蟹也，生即横行。民间谚语曰：‘尝将冷眼观螃蟹，看它横行到几时。’此中有深意。”与宴者因此若有所得。
元光六年冬以来，我大汉多新奇之物，先有彭城煤行发于楚，后有墨门复兴于辽东。此二者今皆已收为朝廷所用，造福天下百姓。私以为此二者或皆与陈后有干。陈后义弟，纪稹，后以军功封冠世侯者，尝与人言，辽东城为其幼时习文练武，而彭城乃其与陈后初遇之所。或曰，后失其位，自放逐之，辗转民间，乃有所为。惜长门岁月乃帝后绝口不言之秘，此事遂成千古之谜。
大将军姊子霍去病，年十八，为天子侍中，善骑射，再从大将军，受诏与壮士，为剽姚校尉，与轻勇骑八百直弃大军数百里赴利，斩捕首虏过当，天子谓之，勇冠三军，以千六百户为冠军侯。陈皇后义弟纪稹，年十八，与去病同行，天子谓之，智冠当世，以千六百户为冠世侯。此二人乃卫陈两家的后起之秀，皆智勇双全之辈。
淮南王安为人好读书鼓琴，不喜弋猎狗马驰骋，亦欲以阴德拊偱百姓，流誉天下。时时怨望淮南厉王死，时欲畔逆。诸使者道长安来，为妄言，言“上无男，汉不治”，即喜；即言“汉廷治，有男”，王怒，以为妄言，非也。王有孽子不害，最长，王弗爱，王后、太子皆不以为子、兄数。不害有子建，材高有气，常怨望太子，元狩间，往告淮南阴事以为功，下廷尉治。
先是王使人伪得罪而西，事帝及大将军，一日发兵，即行刺杀。且曰：“汉廷大臣，独汲黯好直谏，守节死义，难惑以非；至如说丞相弘等，如发蒙振落耳！”上幸甘泉，恰淮南兵起，帝困之，后燃甘泉烽火以求援，天下皆惊，而大将军青亲率八百期门军解甘泉之围。上加封大将军为大司马大将军，长留京中，不得用事。此或为卫家盛极而衰之始。
冠世侯稹率北军往淮南，得淮南阴制皇帝玺、丞相、御史大夫、将军、军吏、中二千石及旁近郡太守、都尉印。淮南王安自刭。杀王后荼、太子迁，诸所与谋反者皆族。侍中严助素与淮南王相结交，私议论，王厚赂遗助，上以旧功薄其罪，欲勿诛。张汤争，以为：“助出入禁门，腹心之臣，而外与诸侯交私如此，不诛，后不可治。”助竟弃市。凡淮南狱，所连引列侯、二千石、豪桀等，死者数万人。衡山王赐、江都王建皆以此事失而诛。江都翁主细君以昭平君徽臣故，得养宫中，异他人。
是年，陈后生皇子匡。而上令太子及两位皇子集于博望苑，请重臣名儒善教之。众皆誉太子，敦厚温文，有仁君之相。二皇子尊师重教，友爱兄弟，惟三皇子得顽劣之评语。惟东方朔私言曰：“太子失之厚，二皇子失之宽，三皇子无状，皆非人主也。”上每月视诸皇子课业及太傅批语，皆一笑而过，而待三皇子越发亲善，以为童真也。
元狩二年，三月，平津献侯公孙弘病重，帝后亲往视之，弘自知不起，遗言曰：“兵戈兴数年矣，而匈奴之害尽去，可复言与民休息，望斟之。”帝不语，后曰：“诺。”弘笑而终。
霍去病为骠骑将军，将万骑出陇西，击匈奴，历五王国，转战六日，过焉支山千余里，杀折兰王，斩卢侯王，执浑邪王子及相国、都尉，获首虏八千九百余级，收休屠王祭天金人。诏益封去病二千户。夏，去病复与冠世侯纪稹将数万骑俱出北地，异道。骠骑将军去病深入二千余里，逾居延，过小月氏，至祁连山，恰与冠世侯相得，得单桓、酋涂王及相国、都尉以众降者二千五百人，斩首虏三万二百级，获裨小王七十余人。天子益封去病及纪稹各三千户，封其裨将有功者鹰击司马赵破奴从票侯，校尉高