刘琮决定归降曹操后，并没有通知在北方樊城守卫的刘备，导致刘备错失了离开的第一时间，而显得十分的仓促。
刘琮的做法也激起了刘备和其部下的极大不满，但刘备因为过于仁慈还是最终没有对刘琮动手，而是离开襄阳企图南下先占据江陵。
【仓促南下】
建安十三年（208年），曹操亲率大军南下，而此时刘表病死，刘表次子刘琮代立，遣使者投降曹操，当时刘备屯兵于樊城，不知道曹操军的突然到来，曹操军到了宛城才感到不对，刘备随即仓促率军离开。
据《孔衍汉魏春秋》记载，刘琮投降之后，不敢把事情告诉刘备，刘备一开始也没察觉，但过了一段时间，发觉不对，就派自己但亲信去问刘琮。刘琮于是派宋忠去见刘备给宣旨。当时曹操已经到了荆州南阳郡的宛城，刘备得知这一消息之后大吃一惊，他对宋忠说：“你们这些人怎么能这样办事，不早些告诉我，如今大祸临头才讲，不也太过分了吗！”拔出刀指着宋忠说：“如今即使砍下你的头，也不足以解我心中的愤恨，而且我也耻于身为大丈夫而临别时还杀你们这些人！”就放宋忠回去，召集部下商议对策。
当时有些人就劝刘备趁机劫走刘琮以及荆州官吏去江陵，刘备却说到：“刘表临死时，把他的孤儿托付给我，请我代为照顾。违背信义，只图私利的事情，我不能作。否则，死后有什么脸去见刘表呢！”
路过襄阳时，诸葛亮再次劝刘备进攻刘琮以夺得荆州。刘备却说：“我不忍心啊！”
于是停马招呼刘琮，刘琮惧怕不敢起身。刘琮的下属及荆州人士有很多归附刘备。到当阳县时，追随他的人就达十多万，粮草物资装了几千车，每天只能行进十几里，于是他派关羽另率几百艘船从水路行进，约定在江陵会合。
据《典略》记载，当时刘备到刘表的墓前祭奠，流着泪辞别而去。
刘备一路南下，就投靠他的百姓和官吏士大夫越来越多，队伍越发庞大起来，但也因此行军速度越来越慢，有人劝刘备：“我们应当全速前进去保江陵，现在虽说人众甚多，但能作战者很少，如果曹操的大军追上，我们怎么抵抗呢？”
刘备说：“成就大业应该以人为本，现在人们主动归随我们，我怎可忍心抛下他们而去！”而曹操考虑到江陵囤集大批军用物资，惟恐刘备抢先占据，便放弃粮草辎重，轻装急行赶到襄阳。
【未夺荆州】
历史上刘备被认为是仁义之主，但有些时候他未免太仁义过头了。刘琮上位之后，做的一些事情其实是很不恰当的，之前荆州北方是由刘备镇守，他投降之后却没有把消息及时告知刘备，这从某种意义上而言就是君主对于部下的背叛，就是在坑刘备（其实也把孙权给坑了）。
而刘备后来察觉了这个事情，而刘琮怎么做的，他派了一个叫宋钟的人去告诉刘备，“宋钟”“送终”刘琮这是什么意思啊！
更不要说刘琮放弃了自己父亲的基业，未发一兵一卒就抛弃了荆州的百姓，抛弃了效忠于自己的将领和官吏，这其中当然也包括刘备，所以刘琮对于刘备而言是无道的，“君有道，从之，忠之，君无道，伐之”。
所以在当时刘备讨伐刘琮可以说是正义的，应该的，而刘备的部下们也是两度劝说刘备出兵。第一次在宋钟带着刘琮投降的消息来了之后，大家劝刘备动手，刘备不忍，第二次刘备兵临城下，刘琮没脸见刘备，襄阳城内大批士大夫和百姓来投，诸葛亮劝刘备动手，刘备还是没答应。
这时刘备的仁义已经是当断不断了。
刘琮未战便降将荆州拱手让人，对于自己的声望是一个很严重的打击，等于他自己放弃了荆州，这个时候的荆州看似有主但实际无主，刘备完全可以趁机夺取，先在曹操之前占据襄阳，控制住刘琮和相关官员，甚至可以废掉刘琮改立刘琦，就算在曹操攻势下守不住襄阳也可以退守江陵，依托南方的四郡，在外连孙权，也是完全可以和曹操一战的，总比慌乱难逃，将刘琮和荆州让给曹操好。
但刘备那时已经失去年轻时期的冲劲，想当年督邮不过是要罢免掉刘备的官职，刘备便将其绑起鞭打两百下，而刘琮作为自己的君主却放弃自己背叛自己，刘备也只是招呼一声，最终都不忍动刀兵，刘备虽然的确已经不是小年轻了，但这样未免太仁义过度了。
【以人为本】
“以人为本”这句话并不是刘备刘皇叔第一个在历史上说出来的，第一个提出来这句话的人是春秋时期齐国名相管仲。
但刘备当时说这句话却是很让人感动的，我们要知道当时刘备在干什么，他可不是在游山玩水，他是在逃命啊，曹操同学可是已经到荆州了，很快就要杀过来了，但在这种情况下，刘备依然没有放弃累赘，没有放弃自己的追随者，他派出关羽开道，而不是自己先走一步，刘备选择了和普通的老百姓们一起南下，他选择了和他们在一起，哪怕刘备很明白曹操已经不远了，刘备说要以人为本，他做到了。
很傻很天真，但真的很让人感、动。《习凿齿曰》上对此就有评论：刘备尽管处在颠沛流离和危险艰难之中，却更讲信义；尽管形势事态危急，说出的话却并不违背道德。他追念刘表当年的旧恩，以情感动三军；眷恋追随他的民众，使这些人都甘心与他共度