在第五次反“围剿”中，彭德怀较早地认识到“左”倾机会主义路线的错误，对荒唐的军事指挥提出了尖锐的批评。但他作为一个军团的领导无力左右局势，虽然率部奋勇冲杀，但却不能挽回根据地被丢光的颓势。

彭德怀在江西率红三军团开始了长征，他指挥部队冲破敌人的重重封锁，进入湖南境内，与湘军展开激战。他亲率两个团抢战湘江渡口，指挥部队与敌人激战三个昼夜，掩护中央纵队和后卫部队安全渡过湘江。在遵义会议上，他坚决支持毛泽东的主张，赞成更换领导。

遵义会议之后，中央军委决定把一、三军团和干部团交彭德怀指挥，形成较强的战斗力，北渡赤水、回师攻娄山关。娄山关地势险要，易守难攻。彭德怀亲临前沿察看地形，然后以两个团迂回敌后，两个团正面进攻，经夹击夺占娄山关。随后乘胜直逼遵义城。敌人急调两个师的兵力增援遵义守军。彭德怀在城西老鸦山一带以逸待劳，伏击敌人，经激战击败了敌军，再占遵义城。这是红军开始长征后的第一个大胜仗。

1935年夏，当红一方面军与红四方面军在四川懋功地区会师后，张国焘提出了与中央相背的进军路线，在危急关头，彭德怀坚决支持北进陕甘边区的意见。9月12日，中共中央在川甘边界俄界召开政治局扩大会议，决定把红一方面军与军委纵队整编为中国工农红军陕甘支队，由彭德怀任司令，毛泽东任政委。下辖三个纵队。中央成立五人军事小组，由毛泽东、周恩来、王嫁祥、彭德怀、林彪组成。俄界会议之后，中央红军继续北上。

1935年10月19日，毛泽东随陕甘支队一纵队到达陕北保安县的吴起镇，不久，彭德怀率二、三纵队到达陕北与红二十六、二十五军会合。红军到达陕北后，敌人几个师的兵力追击而来。毛泽东当即对彭德怀说：“我们打退追敌，不要把敌人带进根据地。”彭德怀立即布置歼敌阵势。10月21日，彭德怀率师在吴起镇西南山上对准马鸿宾的三十五师骑兵团下手，一举将该团歼灭。随后又打垮了东北军白凤翔的骑兵团。红军乘胜进攻，打挎了敌人另外三个团。敌人受此迎头痛击，溃退回去，不敢进入陕北根据地。吴起镇战斗胜利后，毛泽东异常兴奋，立即挥毫赋诗一首：“山高路险沟深，大军纵横驰奔，谁敢横刀立马，唯我彭大将军。”足见毛泽东对彭德怀军事才能和功绩的肯定。但彭德怀不居功自喜，立即把诗的最后一句改为“唯我英勇红军”。