刘腾本是掌管胡灵太后北宫钥匙的人，他死后，其他人对胡灵太后的防卫日渐松弛。元乂仍是喜欢到各处游玩，经常不在宫里，属下进谏他也不听。胡灵太后知道这个情况后，觉得机会来了。她佯称看破红尘，要落发为尼，去嵩山修道，孝明帝及群臣一听，急忙叩头劝阻。这样，胡灵太后才得以见到孝明帝。母子二人叙了骨肉之情，又想起这几年受的气，都觉得不能便宜了元乂和刘腾。
公元525年，被幽禁长达5年之久的胡灵太后再次临朝摄政。刘腾已死，什么都无所谓了，活着的元乂则感受到了极大的压力。他清楚自己的能力不足以与胡灵太后抗衡，便不战而降，请求朝廷解除自己的官职以抵罪。胡灵太后又将其党羽或罢黜或杀掉，使元乂陷入了孤掌难鸣的境地。
现在是收网的时候了，但胡灵太后考虑到元乂是自己的妹夫，迟迟下不了诛杀他的决心，直到元乂之弟元爪谋反的证据摆在面前，孝明帝和群臣都坚持要杀掉他，胡灵太后才赐了毒酒，让元乂在家中喝下。
元乂死时41岁，被葬于“成周之北山长陵茔内”，即今孟津县朝阳镇向阳村南250米左右的位置。胡灵太后为他追赠了侍中、骠骑大将军、仪同三司、尚书令之职衔，还赐他朝服一袭、布绢一千三百匹、钱四十万贯以及各种冥器，埋葬待遇十分优厚。
当然，重情的胡灵太后也没忘了死去5年的清河王元怿。她将元怿迁址厚葬，让人画了他的像悬于殿中，还建浮屠为他追福。