当初他带着一颗争霸的心执意北上，不顾伍子胥等人阻拦，甚至不惜杀了他排除障碍，就像一个一心建功立业的愣头青，夫差在鲁宋认清了现实，吴国虽然已经很强大了，但比起北方的赵国而言，依然要略次一些，除了琅琊海战外，几场陆战都没占到什么便宜，最后不得不主动撤军。
离开彭城时，吴军尚有四万人，可噩梦却是从撤退路上才开始的，赵军的骑兵速度极快，不断地黏上来袭扰，靠了用随行的宋国君臣做垫背，吴人才能顺利抵达符离塞，但也是在这里，夫差遭受到了这辈子最沉痛的一次损失，他儿时的玩伴，年长后的忠臣专鲫请命断后，用自己的性命换取夫差顺利渡河，撤入吴国境内。
但赵无恤却依旧没有善罢甘休，他连夜派兵渡过濉水，继续追击吴人，终于在灵璧，骑兵追上了吴军那散乱的后阵，一阵冲击下，队形溃散，那一战夫差起码丢了五千人，到了垓下这个地方时，脚程快的数千赵卒也追上来了。夫差畏惧赵国大军在后面，不敢恋战，又是一场追歼战，他又丢了五千人，加上在渡过淮河时流散的，夫差只带了两万不到的残兵败将回来，比起北上时，竟已折损大半，更别说最为精锐的犀甲卫士全军覆没。
狼狈地进入钟离后，从彭城到淮南四百里路，足足逃了十多天的吴人终于得以喘息了。
夫差却连口水都来不及喝，就立刻要胥门巢向他报告吴国近况。
……
“大王在淮南留兵万余，令臣戍守，但从六月份下旬开始，楚国那边便出动了三万人，由王孙胜率领进攻群舒，臣兵微将少，无从阻挡，群舒各邑已失陷大半，如今王孙胜正欲北上进逼夷虎……”
夫差却一拂手：“寡人不想听淮南如何，要知道的是吴中如何，姑苏如何？先前赵无恤派人于我军中散播谣言，说吴城已被勾践攻下，太子也死了，是真是假！？”