罢免后，夫妻决定远离尘世，寻一个偏僻的地方住下，继续金石考究。当他们乘船经过芜湖，来到安徽池阳的时候，赵明诚又接到朝廷诏书，被任命为湖州知守。
按宋代的官制规定，新官员上任之前，先要到皇帝那里去觐见，赵明诚赶赴建康（江宁）去见宋高宗赵构。李清照暂时在池阳住下。到了7月底，她忽然接到了丈夫的来信，说自己由于一路纵马疾驰，加上江南地区天气炎热，中暑得了疟疾，病倒在建康城。李清照连忙乘舟启程，坐船走水路，从池州往江宁一晚上就走了三百里，赶到建康城。由于赵明诚性子急，误吃了柴胡、黄芩等降温散热的寒性之药，病情不但没有减轻，反而转成了痢疾，腹泄不止，到了8月18日这一天，赵明诚一病不起，对家中的琐事没有做什么交代，就此撒手而去。
这一年两人结婚第二十八年，赵明诚49岁，李清照46岁。
赵明诚虽然去世了，但是他留下了一笔数量很大的文物，两万多件古籍图书，和二千多卷的碑刻金石的拓本摹本。如何保护，不让它落到金国人的手里，更不能毁于战火，是一个令人头痛的难题。李清照托人将文物转送到洪州，交给一个担任国防部副部长的亲戚保护。不久金兵大举压境，攻下了湖北的黄州、大冶，然后进兵直逼洪州，12月，洪州失陷，宋兵逃散，运去的两万多卷珍贵图书在浩劫中顷刻化为乌有。
经过劫难，李清照手里剩下的文物就不多了。
这时一个可怕的谣言忽然冒出来，沸沸扬扬，不胫而走，几乎把她吓个半死，不敢辩白：“大惶怖，不敢言，亦不敢遂已。”传言说：赵明诚生前，曾将一把珍贵的玉壶献给了金国人！谣言很恶毒。罪名很大。赵明诚生前可能犯过这样那样的错误，弃城而逃，玩忽职守，腐败受贿，骚扰女青年，这都不是要命的毛病。谁一生还不犯点错误呢？犯了就改，改完再犯。你把玉壶上缴给金国、呈献金人，性质可就变了，这是什么呢，这是通敌叛国罪。特别是当时金、宋两国正处于严酷的战争状态。两口子收集了二十多年文物，到了一盆子脏水泼到头上，变成了汉奸、卖国贼，人不人鬼不鬼。谁受得了？
怎么办？李清照思忖一番，凭着文人的善良和老实，想出了一个傻办法：你不是说我献了玉壶给金国人，说我们叛国、卖国吗？好，一不做二不休，我跟着皇帝走，把我们全部的家当都呈上去，交给朝廷，看看你还说什么？她自己雇船、求人、投亲靠友，带着沉重的家用物件书籍文物，眼巴巴地追寻着国君逃亡的路线，开始了艰难而危险的跋涉之旅。从建康出发，经镇江、越州（绍兴）、明州（宁波），从明州上舟山岛，乘船到台州，漂泊入海，走海路又逃到了温州。一会儿走海路，一会儿走陆路，仓皇漂泊，心力交瘁。
“今年海角天涯，萧萧两鬓生华”，一年多的逃亡生活，使李清照饱尝了战乱流离之苦，呈交给朝廷的名家抄本古器字画在剡州兵变中去向不明，温州客栈，她的五箱文物又被贼破壁偷走。李清照一个人肩负着沉甸甸的担子，流落他乡，孤苦伶仃。“挼尽梅花无好意，赢得满衣清泪”，她摘下了一朵梅花，却没有勇气把它插到云鬓里边，只有用手无意识的轻轻地搓动着花瓣，看它在风中慢慢地飘落，飘落到衣襟上，就象孤单人的眼泪一样。令人心碎的梅花！
孤寂中一个叫张汝舟的男人踏入了李清照的生活。
张汝舟担任右奉郎监诸军审计司，官品并不大，七八品，负责军队里边的一些财务审计和审核，他带着一副眼镜，斯文白净，镜片后的目光闪烁不定。这个人很会说，非常具有表演才华，他主动地接近李清照，朗诵诗歌，暗送秋波，同她一起谈文学、谈写作，谈文物考订，派媒人拿着文书向她求婚，嘘寒问暖关心呵护，这一切深深打动了身心疲惫、感情受伤、特别需要慰籍的李清照。
幸福像花一样悬挂在眼前，颤悠悠，似乎只要一伸手，就能采到……
待到结婚以后，李清照就发现张汝舟这个人，不但是学识修养方面无法跟赵明诚相比，而且道德品行败坏，或者说整个就是一彻头彻尾的流氓。两人很快便发生了分歧，争执不休，张汝舟因为不能支配她的行为，不能占有李清照仅存的文物的监护权、所有权，不免恼羞成怒：哼，我还上当了呢。你不搞古董文物的吗，你那两万多卷呢？那贵重的金石字画呢？我他妈弄个老太太来，还写诗！最后更是完全撕破脸，拳脚相加，大打出手。
结婚仅仅三个月，李清照便向法庭提出了离婚的请求。
“忍以桑榆之晚节，配兹驵侩之下才”。
“驵”是贩卖牲口的牵客和经纪人，“侩”是市侩。
李清照说，我真后悔，自己到了晚年，竟然嫁给了这么一个肮脏低劣的市侩。“身既怀臭之可嫌，惟求脱去，彼素抱壁之将往，决欲杀之。”我再也不愿意跟这个臭烘烘的家伙在一块了，就想快点离开他，我再不走，他整天老盯着我这些宝贝文物，说不定哪天就一拳打死我。赵明城再不济，起码他不搞家庭暴力？
但是当时的法律并不支持个人