1976年，在周总理逝世后，“四人帮”为了加快阴谋夺权的步伐，掀起了新一轮的政治风暴，将矛头直指接替周总理主持中央日常工作的邓公以及主持中央军委工作的叶帅。面对“四人帮”在各种场合猛烈地攻击，不久后，邓公被停止了领导中央的工作，而叶帅也不再介入军队的事情，大多时候都只是参加一些中央会议。
作为人民军队中德高望重的领导人，自1971年坠机事件发生后，身为军委副主席的叶帅便开始主持军委工作。后来中央撤销了军委办事组，重新组建了由叶帅所领导的军委办公会议，自此叶帅便长期领导着军委的日常工作。1976年，叶帅不再负责军委工作后，军委自然也就陷入了群龙无首的局面，此时急需一位新的军队领导来统领大局，而在经过多番思量后，毛主席最终选择了陈锡联将军。
1976年2月，在中央工作会议上，毛主席前后两次紧握陈锡联将军的双手，叮嘱到：“你一定要挂帅！”自此，陈将军便成为军委工作的实际负责人，身上肩负起了统帅百万解放军的重任。
在老一辈的革命家中，陈锡联是相对比较年轻的一位，1955年授衔的时候，他才40岁，是最年轻的上将之一。后来他担任沈阳军区司令员时也不过才44岁，是最年轻的大军区司令员，没有之一。
那时候，在我国军内有很多资历老、能力强的领导干部，为何毛主席偏偏选中了陈锡联来主持军委的日常工作，而一直备受主席青睐且同样战功赫赫的许世友将军却未能在此时得到重用呢？这其中主要有以下几个原因。
首先第一点，陈锡联不仅是一个能征善战的军事将领，他在政治工作方面的工作能力也非常高，深知如何团结身边的同志，处理好各方不同的意见。早在1957年时，担任了北京军区司令员的他就已经开始兼任国务院副总理，在军、政两个领域都颇有影响力。
而相对于陈锡联将军，许世友将军则是一个更加纯粹的军事将领，他军事才华横溢，在战场上经常所向披靡。不过，许世友将军的性格太过于火爆、耿直，容易发脾气，因此不太适合主持军委的工作。
其次，陈锡联将军此前一直领导着北京军区的工作，对于北京的形势他了熟于心，并且他也很擅长处理各种突发的情况。与此同时，尤为可贵的是在当时的环境下，陈将军一直保持着理性与客观，从不参加任何批斗活动，一直坚持听党行动，这一点是非常重要的。
除了以上两点，还有一个很重要的原因，那便是在当时身为政治局委员又是军委常委的人，只有陈锡联将军以及王洪文、张春桥等人。在这样的情况下，戎马半生的陈将军自然是毛主席心中最适合的人选。
陈锡联将军自从接下军委工作后，叶帅便动身南下广州去休养，他得知这一情况后，多次挽留这位老帅。此后军队中有什么重要的事情，他都会一一与叶帅沟通。毛主席逝世后，他向华国锋同志提出建议让叶帅重新出山主持军委工作，不过后者告诉他叶帅需要处理国内的事情，军委的工作还是由他来负责。
1976年10月，陈锡联将军协助华国锋同志和叶帅粉碎了“四人帮”，再立新功。到了1980年，他响应邓公的号召，辞去了一切领导职务，并不久后当选中顾委常委，继续以新的方式为国家做贡献。
晚年，陈锡联将军一直居住在新街口的家中，那时他虽然年事已高，且已经不在领导岗位，但他依旧关心着国家和军队大事。除此之外，他还喜欢上了钓鱼，北京有鱼的地方几乎被他逛了个遍，还赢下了多个钓鱼奖项。而他晚年的交际圈，依然是军队中的老战友们，大家经常在一起回忆往昔的峥嵘岁月。
1999年，这位传奇将领在北京逝世，享年85岁。
