庐山承载着太多的历史记忆，不论是国民党，还是中共，庐山都召开了许多重要的会议。建国之后，1959年的庐山会议，更是历史上浓墨重彩的一笔，彭老总受到了严厉的批判，以至于政治上彻底被边缘化了。
彭德怀有两大爱好，一是喜欢《离骚》中“路漫漫其远兮，吾将上下而求索”，二是喜欢实地调查，讲证据。庐山会议之前，彭德怀曾来到湖南的韶山。当他看到韶山农民们不去抓生产，而是将家里的锅碗瓢盆都拿去炼铁，眼里充满了担忧。
同时，对于干部们在农村张贴“人有多大胆，地有多大产”的口号，彭德怀总是提出了批评。他讲道：“虚报浮夸的作风一旦滋生，便不会轻易散去，总有些投机分子会趁机捞取利益。”即便是在面对中央领导同志，彭德怀也是坚持自我。
比如1958年末，中共“八大”二次会议上，号召全国钢产量要比去年翻一番。彭德怀参加了讨论，尽管举了手，还是提出了不同意见，询问是否可以减少些。至于对待“大跃进”的问题上，彭德怀更是感到忧心忡忡。
1958年12月，中央在武昌召开了八届六中全会。会议的一大主题就是当年的粮食产量。会上，有人提出将年初制定的1万亿斤，提升到1.2万亿斤。
本就是农民出身的彭德怀当然知道，甭说中国了，就是当时的美国也达不到这个产量。于是他直截了当地说：“粮食根本没有这么多，这个任务完不成。”
当时有人批评彭德怀，说他思想“保守”，还说他：“老总啊，你这也怀疑，那也怀疑，工作还怎么进行下去？”彭德怀解释说：“我是农民的孩子，地里能长多少粮食，我心里清楚。公布的数字少些，将来也好弥补。如果公布的数字多了，将来会很被动。”
听了彭德怀的建议，中央也认识到了政策似乎有些过于冒进了。便将计划定在了一万亿斤之下，为7500亿斤。
上庐山之前，彭德怀不是没有经过调查，就乱说一通，而是亲身回到了家乡平江。一次考察中，还有一件事让彭德怀终身难忘。一位土地革命战争负伤致残的红军战士，在人群中悄悄给了他一张纸条。
彭德怀打开一看，只见上面写着：“谷撒地，薯叶枯，青壮炼铁去，收禾童与姑，来年日子怎么过？请为人民鼓陇胡？”
看完之后，彭德怀心情十分沉重。另外，接到命令，上庐山前，彭德怀就已经遭到了主席的训斥，在政治上成了独行者。但他执拗的性格非常不解，还曾对身边人说：“主席为啥老是敲打我呢？我不过就是说了点真话。”
谁也不知道彭德怀的心境究竟有多么愤懑，但他还是于6月29日下午从北京出发，乘火车到武汉，在7月1日早晨到了庐山。根据《彭德怀传》，他是为了尽早地纠正当时存在的问题，也是为了维护总路线，才会上“万言书”。
“万言书”是14日递交给主席的，信中提醒主席并告示国人：“浮夸风气非常普遍，资产阶级狂热性让我们的政策不断向“左”去，长期以来形成的实事求是的路线置于脑后。”
主席一看到“万言书”，就大发雷霆，认为彭老总是“醉翁之意不在酒，在乎山水之间”，是反对三面红旗。
几天之后，各地干部越来越多，会议上有人便严厉批评了彭德怀，说他是“右倾机会主义”的带头人。随后，更是有人无中生有，揣测上意，竟然污蔑老总有“里通外国之嫌”。
对此，彭德怀当然是暴跳如雷，自我辩解道：“说我什么都可以，唯独这条不行。”下了庐山，彭德怀就被免去了国防部长的职务，特殊历史时期，更是遭受了非常严重的迫害。
