卢杞去找郭子仪，除去拍马外，还希望借着郭子仪的威望，和朔方旧派系达成一致，这样方便崔宁在北方破局。
“卢杞貌丑而心狠，不管是出于大局，还是出于私利，我都不妨答应他。”于是郭子仪满口应承，并写信给杜希全、戴休颜等人，让他们不要胡乱为难上司崔宁。
杜希全、戴休颜都是郭的老部下，在得到尚父的信后，各个顶礼奉拜，甚至双双上奏皇帝，称“节度使不在镇时方才设置留后，今崔大都督已出镇北地，不宜再设留后。”
杜、戴献上辞呈后，张光晟与李建徽也不好意思，稍稍迟疑后也送来辞呈。
皇帝便也答应了，这群人州刺史和军使职务不变，撤销三个“留后”，从此将北地方镇交由崔宁全权打理。
卢杞初战告捷，随后又多次与京兆尹严郢往来，二者似乎也在结盟。
而严郢先前也因民屯方面的争执，及随后的被诬，开始和杨炎为敌。
杨炎却瘫倒在家宅当中，算着一笔血淋淋的账：
他回朝当宰相也不过一年不到的光阴，从最初的顺风顺水，到而今的步步蹉跎，真的是恍如梦中般。
他推行两税法，希望以此在财赋重地换上自己人，却在淮南陈少游和淄青李正己那里翻了跟头；
他以杜封入崇文馆为诱饵，想要引诱刘晏一党，再反手歼灭之，可刘晏和令狐峘却不上当，让他扑个空；
他请求财赋入左藏库，并罢废度支、转运二使，本想激起刘晏的反抗，借皇帝之手趁机将其干掉，可刘晏却主动让出所有利权，现在一个“闪现”跑到桂管去当经略使，又让他功败垂成；
他本想举荐自己人为御史大夫，独断朝政，可皇帝却引卢杞，处处掣肘自己；
他排挤崔宁和朱泚，可现在看来完全起了反效果，如今崔宁独坐北疆，朱泚节度陇右、凤翔、泾原三镇，势力和声望更胜之前。
为什么？为什么！
杨炎心情纷杂狂乱，他觉得冥冥中仿佛有双黑手，好像洞悉着一切，总是能猜出自己的布局，把他的心血全都轻而易举的摧垮。
“难道，难道，真的是他......”杨炎躺在绳床上，原本覆盖在眼睛上的手指，慢慢滑下。
这时候他睁开眼睛，看到帷幔后立着老奴何伯。
何伯侍奉他家数十载，从他父亲杨播时就是家中最受信任的人。
而先前杨炎被贬为道州司马，高岳来送别时，后来返归时为高岳牵马的那位，正是何伯。
故而一看到何伯，杨炎自然而然便想起了高岳。
“府君......”何伯说。
杨炎答应声，便自绳床上起身，问何伯有事否。
何伯垂着双手，好像想说又不敢说，但最终还是说了出来，“府君可千万要留心啊，先前少府君（杨弘业）几乎每日都在家大筵宾客，太显眼了！”
一听这话，杨炎不由得大惊失色，先前他的精力始终在政事堂，对家里几乎不闻不问。
很快杨炎的醒悟便转为了愤怒，拳头紧紧握起，“这个竖子！”他决心马上要好好教训妻儿一顿。
而后何伯又低声说道：“老奴还有句话，不知当说不当说。”
“唉，何伯但说无妨。”
“府君你打小我就伴在身旁，知道府君你有时候过分记仇，但却不记恩，这样的话怕是会树敌过多。”
听到何伯这句话，杨炎心中泛起不快来。
可何伯而后却数起来——他举了个三个人。
崔清、霍忠唐，还有高岳。
杨炎火气翻涌上来，他要好好对何伯解释番，但崔清和霍忠唐他完全不说，只说高岳，“我推举李舟，是因高岳年纪和资历都不符合而已。”
“但高岳是崔宁的女婿啊！原本能和崔宁联手的机会，就从府君手里流走了。”
“何伯很喜欢高三郎？”
“不是不是，只是我曾为高三郎牵过次马，就在那次三郎经过长乐坡月堂，初次见到崔宁家的第五小娘子，现在居然结为伉俪，可不是命定的吗？高三郎绝非普通年轻人，府君不可等闲视之。”
这下，更让杨炎恼羞成怒，可何伯又说道：“府君还记得年轻时，是如何对神乌令李大简的吗？”
杨炎听到这话，不由得想起过往，那是肃宗至德二载（757）时，他还在河西一带游学，河西刚刚爆发了叛乱，原节度使被杀，叛乱平定后，朝廷派兵部侍郎杜鸿渐入河西为新的节度使，因杜鸿渐早就欣赏他的文名，直接就聘他当了幕府掌书记。
杨炎一朝得势，做的事和现在毫无二致，因凉州神乌县令李大简曾因酒醉辱骂过自己，杨炎便把李大简唤来，让左右反绑李，用铁棍殴打了足足两百下，李大简血流遍地，躺在地上蜷缩着身躯呻唤着——杨炎能清晰记得自己当时的反应，快哉，快哉，痛快哉！
“庸奴，如今牙齿尽落，能复骂我否！”杨炎笑着，还不忘用靴子猛踏半死的李大简几下。
事后，杜鸿渐包庇了杨炎，对这种对同僚睚眦必报的发指行为根本不加过问。
杜得到的回报，是离任河西去荆南为节度使时，杨炎亲手写的功德碑《河西节度使杜公碑》，里面夸赞杜：
“其来也，丘陵如无；其去也，风雨可怀。”
二十余载过去，自铁棍打在李大简脸上那刻起，心魔就在杨炎身躯里扎下根，从未离去。
这时他也不会把何伯的话听进去，但这不代表他不把高