1977年后，随着家庭联产承包制度在农村普遍铺开，“农业学大寨”运动大潮慢慢消失，陈永贵逐渐回归到了一个普通老百姓的身份。
这位从农民身份坐上副总理位置的人，一时有些无法接受时代的变革，还和邓小平同志有了几次深刻的对话。
连声质疑
1977年7月14日，在党的十届三中全会上，陈永贵见到了好久没见的邓小平。
他上前握住邓小平的手，说：“小平同志，想不到我们又在一起工作了。你年纪已经不小了，再也经不起折腾了，好好地照毛主席的指示办吧。”
邓小平不露声色地说：“今后还得你多指教呢。”
陈永贵说：“只要都按毛主席的指示办，什么样的困难都好克服。”
邓小平见状，就将他拉到休息室，两人坐在一张沙发上交谈了起来。
小平同志指出，毛主席最倡导的就是群众路线和实事求是，但是在这两个根本问题上，有很多人没有正确理解毛主席的思想，以至于走了歪路，例如“四人帮”。
他的这番话，是希望陈永贵能真正理解什么是毛泽东思想，而不是简单地背诵毛泽东语录。
陈永贵好半天才说了句“明白了”。但遗憾的是，他根本没有领悟邓小平的深意。
1980年1月15日下午，北京人民大会堂，邓小平和陈永贵又见面了。会议结束后，陈永贵上前招呼邓小平进休息室，说有几个事要问问。
两人坐下以后，陈永贵迫不及待地说：“小平同志，这些日子你天天开会，不断提出一个又一个新点子，我有点接受不了。我想问一下，你究竟还执行不执行毛主席的革命路线？究竟还要不要高举毛泽东思想的旗帜？无产阶级专政的理论还算数不算数？”
面对这一连串的质问，邓小平严肃地说：“你提的问题，简直像孩子那样幼稚。你才加入共产党有多久呢？永贵同志，我希望你还是按照一个共产党员的标准，首先检查一下自己吧。”
接着，他又说道：“你可以有自己的意见，可以保留自己的意见，但是要服从党的纪律和领导，就如当年我们都服从一样。”
说完，他提起公文包转身就走。
第二天，邓小平在干部会议上作《目前的形势和任务》报告，强调要把经济建设当作中心。之后，他又多次谈话指出，要充分研究如何搞社会主义建设的问题。
晚年生活
和邓小平谈话后没多久，陈永贵去向华国锋辞别。他说：“都过去了，好似一场梦，不过我不后悔。我敢说，我是前无古人，后无来者的一个农民。”
1980年9月，全国人大五届三次会议上，陈永贵辞去了国务院副总理的职务。
即使是和陈永贵之间存在思想上的差异，邓小平还是肯定了他为中国农业发展作出的贡献，并鼓励他放下思想包袱，轻装前进。
陈永贵辞职后，邓小平提出保留他的待遇不变，不仅每月发生活费，还把他家属的户口转入北京，并且仍然让他住在北京交道口的房子。
但生活质朴的陈永贵却主动提出搬出交道口的住所。
他认为自己不是副总理了，就不该住副总理级别的住房，最后被安排到复兴门外大街木樨地部长楼22号楼定居。
搬家的时候，陈永贵只带了床、旧电视机、文件箱等日常用品，其余物品都留在了原来的住处。
1983年，已经69岁的陈永贵还想继续做一些工作。后来经过研究，他被分配到了北京东郊农场当顾问。对于一个农民出身的干部来说，这也许是晚年最好的归宿。
1985年夏，陈永贵被查出患有肺癌。邓小平得知后，专门派时任中央书记处书记胡启立前去看望。
胡启立握着陈永贵干枯的手说：“陈老， 你要好好养病，中央是肯定你过去的贡献的，你是个战天斗地的英雄。”
1986年3月26日，陈永贵病逝，享年72岁。
当他走到生命尽头的时候，对来看望自己的人说：“我梦见毛主席了，毛主席让我继续到另外一个地方给他干事。邓小平是好人……”
