十二月，皇上下诏说：“当前官吏用法巧文浸深，这都是朕不德导致的。决狱不当，会使有罪者逃避法律，无罪者蒙受无辜冤屈。朕甚是伤感。今遣廷史于郡鞠问狱事，任轻禄薄。今为置廷尉平，秩六百石。设员四人，其任务就是公平治狱，以称朕意。”于是每逢秋后请谳，皇上常幸宣室，斋居而决事。自此狱刑号为公平。涿郡太守郑昌上疏说，如今明主躬垂明听，虽不置廷平，狱将自正。但如此不如删定律令，律令一定，则愚民知所避，奸吏无所弄权，如今不正其本，而置廷平以理其末，一旦政衰听怠，则廷平将召权而为乱首。
昭帝时，匈奴使四千骑在车师屯田，及五将军击匈奴在车师屯田者惊去，车师复通于汉，匈奴怒，召车师太子军宿欲以为质。军宿为焉耆外孙，不愿意去匈奴为质子。就逃到焉耆去了。车师王更立子乌贵为太子。及乌贵立为王，与匈奴结婚姻。帮助匈奴遮汉道交通乌孙。这年，侍郎会稽郑吉，与校尉司马熹，将在渠犁屯田积谷的免罪刑人，并征发城郭周围诸国兵万余人，一同攻击车师，车师王请降，匈奴发兵攻车师，郑吉与司马熹引兵北上，与匈奴遭遇，匈奴不敢前进。郑吉等即留一校尉与二千卒留守，自领大军归渠犁。车师王恐匈奴兵复至而被杀，乃轻骑而奔乌孙。郑吉即迎其妻子传送长安。匈奴更以车师王昆弟兜莫为车师王。收其余民东徙。不敢居故地。而郑吉开始以吏卒三百人往车师屯田，以充实车师地。
皇上自初即位，多次遣使者求外家。因为年岁久远，多似是而非。这年，求得外祖母王媼，及王媪的两个儿子无故与武，皇上赐无故，武爵位为关内侯。旬日间，赏赐以巨万计。
四年春二月，赐外祖母号为博平君。封舅无故为平昌侯。武为乐昌侯。夏五月，山阳济阴雹如鸡子。深二尺五寸。杀二十余人。飞鸟皆死。
诏令自今有子匿父母，妻匿夫，孙匿大父母，皆勿治。立广川惠王孙刘文为广川王。霍夫人及霍山霍禹等的权势日见侵夺。经常相对涕泣自怨，霍山说：“如今丞相用事，县官信用他。将大将军时的法令尽数变更，又处处挑大将军时的过错，诸儒生又多是穷人家子，远客饥寒，喜欢妄论狂言，说话不知避讳，大将军常疾之如仇，如今陛下喜欢与诸儒生交谈，人人自书封事，大多都是毁短我家的，曾有人上书说我家昆弟骄恣，他们的话实在令人心痛。我虽然屏之不奏。但后来上书的人更狡猾了，奏封事，使中书令出省来取，竟不再关白尚书，皇上是更加不信任我们了。又听民间传言，说是霍氏毒杀许后，真有这事吗？”霍夫人恐急，就将事情的真相告诉了大家，霍禹霍山霍云大惊，说：“既如此，为什么不早告诉我们？县官离散斥逐诸婿，原来是因为这个缘故啊。这是大事，诛罚不小，该怎么办呢？”于是，开始有邪谋了。
霍云的舅舅李竞的好友张赦，见霍云家仓促慌乱，就对李竞说：“如今丞相与平恩侯用事，可令太夫人告诉太后，先诛杀这两个人，然后移徙陛下，这些事只在太后一人而已。”长安男子张章上书告之，事下廷尉，执金吾捕张赦等。后又有诏不再追捕。霍山等人愈加恐慌，在一起合计说：‘这是皇上敬重太后，故不再追究。但是恶端已现，久后一定还会追究，追究即族灭。不如先发难。或可保全。’
遂令诸女各归报其夫，都说：“该如何才能逃避祸难呢？”正好李竞坐与诸侯王交通，辞语连及霍氏，有诏说霍云霍山不宜宿卫，免官就第。山阳太守张敞上封事说，臣听说公子季友有功于鲁，赵衰有功于晋，田完有功于齐，都是延续了祖上的功德，惠及子孙。但最终田氏篡齐，赵氏分晋，季氏颛鲁。因此仲尼作春秋，描叙盛衰足迹，讥讽世卿最是厉害，当初大将军决大计，安宗庙，定天下，功劳的确不小。当年周公辅成王，仅仅七年而已。而大将军足足用了二十年，海内之命，断于掌握。在他隆盛的时候，感天动地，侵迫阴阳，这时应该明白的告诉朝臣，陛下褒宠故大将军以报恩德，这就足够了。如今辅臣专政，贵戚太盛，君臣之分不明，请求罢霍氏三侯皆就第，及卫将军张安世，也应该赐其几杖归休，以后经常存问召见，以列侯为天子师，明诏以恩。若不听，使群臣以义固争，然后答应他们的请求，天下人一定会以为陛下不忘功德，而朝臣也为知礼。霍氏可以世世无所患苦，今朝廷不闻直声，非要明里罢免，这可不为得策。今两侯已出，人情不相远，依臣的愚见，大司马及其枝属，一定会有畏惧之心，令近臣自危，这可不是完美的策略。臣敞愿当朝臣之面说明缘由值守远郡。拳拳之心，愿陛下明察。
皇上甚善其计，然而并不依计而行。霍家数有妖异之事，举家忧愁。霍山说，丞相擅自减少宗庙祭祀的牺牲，可以以此为罪名收斩他。定计令太后为博平君置酒，召丞相平恩侯以下，使范明友，邓广汉承太后制，引斩之，因废天子而立霍禹。约定未发，霍云拜为玄菟太守，太中大夫任宣为代郡太守。这时反事被发觉。