耶律楚材本身也并非恋慕富贵权势之人，他久居丞相之位是为了一展胸中抱负，也确实有治国之才，如今皇帝对他愈发猜忌，不免觉得心中愤懑。再加上年岁上去了，子女皆已成人，便也生出了倦怠之心，只想找个清静的地方与家人一起平静地生活下去。
耶律楚材与两个儿子一合计，觉得蒙古这个地方不能够久留，北方尽是蒙古国的疆域，只能南下前往大宋。虽然大宋正逢战乱，但找一处安身之所并不难，也好过留在蒙古被人虎视眈眈。
耶律楚材的军事眼光向来很独到精准，在他看来如今的蒙古的实力的确是要比大宋强出许多，但要彻底吞并大宋却还未到时机。而且以现在这种铁血屠戮的方式，即便是夺得了江山，也征服不了民心。故而蒙军已入侵中原腹地，但要把整个中原收入囊中，在短期内不可能做得到。按照他的预料，再过不了多久，蒙宋两军就会协定休战，毕竟战线拉得太长了，后方的补给很难跟得上，对两国而言，都劳民伤财。就像上次襄阳战役中，蒙军的粮草被烧，不得不暂时停战。
只是如今，他正处于风口浪尖，想要全身而退，却是很难。
正当耶律楚材苦思不得解的时候，小儿子耶律齐提出了一个对策，这让他觉得非常吃惊，这才发现，这些年自己几乎把所有的心思放在了朝堂上，对自己的儿子其实并不够了解。
耶律楚材听完沉吟了良久，叹了口气，悠悠开口：“你这么做，是为了耶律家，还是为了那个姓程的女子？”
耶律齐怔了片刻，淡淡地笑了：“孩儿当然是为了耶律家。爹娘、大哥还有妹妹对我而言都是无法割舍的血缘至亲，我自然希望咱们一家人都能好好在一起。但是，阿英是我这辈子最爱的女子，我想和她永远在一起。对我而言，也许她不会比整个耶律家重要，但是一定比我自己更重要。”
耶律楚材有些动容，自己儿子的心性他比谁都清楚，但是他这次从中原回来，似乎变得更加坚韧刚毅了。他的一番话让自己觉得，孩子长大了，会有自己的生活。而他自己，的确是老了，年轻的时候只顾着追求自己的理想，那些还来不及细细欣赏的风景，那些未曾好好陪伴在家人身边的时光，并不该成为永远的遗憾。
接下去的几日，耶律楚材再没有主动求见过皇帝，基本上把除了吃饭睡觉以外的时间都花在了书房里，而耶律铸和耶律齐两兄弟也进出甚是频繁。
五日过后，耶律楚材主动向皇帝上表请辞，自述身体抱恙，无法堪当丞相大任，请旨举家前往西北之地颐养天年，并将治国之策悉心整理成书册尽数献上。皇帝自然是作势再三挽留，无奈耶律楚材去意已决，皇帝念其过往功德，遂恩准。
半月后，耶律楚材一家动身前往西北之地，途中不幸遇刺，长子耶律铸与次子耶律齐皆身亡，耶律楚材及夫人、女儿所乘马车因马匹受到惊吓，失去控制，不幸坠落悬崖，无人生还。