因“衣带诏”事发，刘备担心被牵连进去，就趁机找个借口带着关羽、张飞逃出了许都，理由是要去攻打袁术，曹操居然信了，好像还给了他一些军队。刘备就带着这些人回到了曾经奋斗的地方下邳，杀了太守车胄，又重新夺得了下邳的统治权。站在下邳城的街头，刘备是感慨万千啊，对关羽张飞说道：“这里本来就应该是属于我的地盘，可是自己实力太差，被吕布虐了几次，不仅失去了徐州，还差点搭上了性命，我恨我自己。所以我发誓有朝一日我一定要重新把它夺回来，现在我做到了。”

关羽、张飞随声附和道：“恭喜大哥，可是大哥啊，那个工资您看什么时候发一下，家里快揭不开锅了。”

刘备说道：“工资？前年不是刚发过吗？”

张飞说道：“这不都两年没发了吗，我是真的顶不住了，孩子的学费还没交呢，老师说了，要是再不把以前的学费补上就把我儿子请出三国幼儿园！”

刘备说道：“飞啊，再坚持一下吧，等我这几天干票大的就给你发工资，你要是实在顶不住的话就先把你的丈八蛇矛卖了，应该也够顶一阵子了。”

张飞说道：“你这说的什么话嘛，没了蛇矛我拿什么打仗啊！”

刘备有些怒了，说道：“你少跟我扯犊子，现在正是困难时期，从上到下都勒紧了裤腰带过日子呢，怎么就你特殊呢？你看看你二哥，他家不比你困难吗？青龙偃月刀都卖了，他说什么了吗？成天就你事儿多。”

张飞被刘备这一顿训，只好是闭嘴了，但心里还是很不舒服。心想：跟着这么个老板真是倒了八辈子血霉了，活该你没有地盘，别看你现在夺回了下邳，过不了多久你还得逃跑。

刘备重新占据下邳后，让关羽驻守下邳，自己带着张飞屯兵小沛。曹操得知后很生气：“好嘛，你跟劳资说要去攻打袁术我才让你走的，你倒好，偷偷的把我的太守车胄给杀了，简直卑鄙无耻，太过分了！”

于是曹操派了刘岱、王忠前去征讨，刘备得到消息后高兴对张飞说道：“三弟啊，你成天嚷嚷着没钱，这不送钱的来了吗，能不能拿得到可就看你们兄弟二人的了。”

关羽、张飞二人随即率兵出战，为了能发工资，二人以及手下士卒都很卖力，一战就把刘岱、王忠给打败了，抢了他们的所有辎重高高兴兴的回去了，刘备也兑现了承诺，给他们补发了几个月的工资。张飞很高兴：“终于有钱买酒喝了。”

关羽劝道：“三弟，还是少喝点酒吧，省着点花，下次发工资还不知道什么时候呢。”

刘岱、王忠被打败了，曹操更生气了，就亲自率大军前来，这下刘备可顶不住了，僵持了一段时间还是被打败了，只得再次弃城带着张飞逃跑。而关羽则被曹操擒获被迫投降了，刘备兵败后带着张飞投靠了河北的袁绍。

建安六年（公元201年），刘备和张飞来到了汝南刘辟、龚都这里，与他们一起扰乱曹操的后方，许都以南的各方势力纷纷响应。曹操也派遣了蔡阳前去镇压，但被刘备杀了，这时曹仁率军赶来，双方展开大战，刘备又被曹仁打败，只好前去投靠荆州刘表，屯兵新野。

刘备在新野待了几年，日子过得很是滋味，把新野治理的井井有条，深受百姓爱戴，但好景不长。建安十三年（公元208年），曹操突然挥师南下，这时刘表因病去世，刘琮又投降了曹操。刘备得知后再次逃亡，徐州百姓不忍分别，纷纷跟随刘备一起迁移，据记载单是跟随刘备一起逃亡的百姓就有十万之多。

带着十万百姓逃亡，可想而知行军速度有多慢，每天只走了几十里路。曹操得知刘备南逃，当时江陵有大量的军用物资，曹操担心刘备占据江陵，于是和曹纯一起率领“虎豹骑”追杀刘备，经过一天一夜的疾驰，在当阳长坂赶上了刘备，双方展开混战。“虎豹骑”在当时可是被誉为“天下骁锐”的军队，是曹操的王牌，刘备的军队哪里抵挡得住，很快就被击溃了。

刘备的军队被打散，只率领了诸葛亮、张飞赵云以及几十名骑兵逃走。这一战曹操不仅缴获了刘备大量的辎重，还俘虏了大批的士卒以及刘备的两个女儿。慌乱之间赵云又不知道哪里去了，刘备只好叫来张飞说道：“三弟啊，如今形势危急，我和军师得先走，你就留下来断后吧。”

张飞说道：“大哥，我就一个人去是不是太孤单了？”

刘备说道：“这里所有的人任你挑选，如何？”

张飞看了看眼前的人说道：“大哥，咱就剩下几十号人，还有什么好挑的吗？”

刘备说道：“三弟，你就随便挑选几个撑一下场面就可以了，我相信你一定能撑得住。”

张飞说道：“大哥，我能不去吗？”

刘备说道：“你二哥去调船只接应去了，还没回来，赵云又不知道哪去了，可能一个人打野去了，现在我手底下就剩下你一个武将了，你不去难道还让我亲自去吗？”

张飞指着诸葛亮说道：“大哥，咱们不是还有军师吗？让他先去顶一阵子不行吗？”

刘备说道：“胡闹，军师是打辅助的，怎么能去呢？”