1968年3月22日，代总长杨成武的所有职务被撤销，黄永胜出任总长。如此重大的人事变动，聂荣臻事先竟然毫不知情，这不是有意封锁是什么。最关键的是，“副帅”和康生一起出面，声称要挖出杨的“黑后台”。这矛头指向谁，不言而喻。
聂荣臻为此大动肝火，谁不知道杨成武是他多年的主要战将。他给毛主席写信，表明自己作为老首长对杨成武的看法，及杨成武在自己麾下工作多年的情况。毛主席回信16个字：“荣臻同志，信已收到，安心养病，勿信谣言。”
之后，毛主席又当面安慰聂荣臻道：“如果要讲杨成武的后台，第一个是我，第二个才轮到你嘛。”即便如此，聂荣臻还是为杨成武和自己感到担心。他清楚地知道，“副帅”的真正目标是自己，杨成武只是其对付自己的第一步——剪除羽翼。
晚年杨成武在接受访问时曾说：“我追随聂帅已经60余年了，他对我的影响很大很深。他永远是我崇敬、信赖的师长和挚友，是我学习的榜样。”
聂荣臻比杨成武大15岁，聂1931年底到的瑞金，不久就担任红1军团政委一职。从这以后，杨成武就一直在他的指挥和领导下战斗、工作。刚开始，杨成武对聂荣臻的印象是：英俊文雅，参加革命的大知识分子。
聂荣臻对杨成武的教导是言传身教的，有场重要战斗，杨成武沉不住气，见到敌人进入我军伏击区域，几次请求出击，聂荣臻总是平静地说：“不急，不急。”直到敌人一个不剩地进入伏击地域，聂荣臻才命令部队出击。此战大获全胜，全歼敌人2个师，缴获丰厚。
战后总结，杨成武被表扬为“模范团政委”，杨却认为，这仗打得好是因为聂荣臻亲临一线，下达了最佳时机的出击命令。
红军时期部队变动大，所以伤员出院是统一随机分配的，但由于负伤痊愈的杨成武舍不得原部队，聂荣臻也舍不得杨成武，最后杨成武重回聂荣臻麾下。再见杨成武时，聂荣臻高兴地说：“好哇好哇，你回来了，这太好了。”之后长征、抗日战争和解放战争，杨成武一直处于聂荣臻的直接领导和指挥下。
聂荣臻是八路军115师副师长时，杨成武是115师独立团团长。聂荣臻是晋察冀军区司令兼政委时，杨成武是晋察冀一分区司令兼政委。聂荣臻是华北军区司令时，杨成武是华北军区兵团政委、兵团司令。
聂荣臻和杨成武不是朝夕相处，但绝对是做到了并肩作战数十年。
1968年3月面对杨成武的遭劫，聂荣臻一点办法都没有，连其家人也做不到照料，因为他自身难保了，他遭到各种批判，1969年2月以70岁高龄进化工厂劳动。
1972年1月6日陈毅去世，聂荣臻不久得到平反，几年后杨成武复出任副总长一职。
聂荣臻是1992年5月14日去世的，杨成武听到这一噩耗时，眼泪夺眶而出，立即招呼人驱车前往，见老首长最后一面。之后，杨成武有感而发，作诗一首，聊表悼念：“ 撕肝摧胆噩耗来，顿失良师无限哀。运筹功勋铭青史，教诲深情记心怀。”
聂荣臻去世前不久，杨成武前去探望，医生定下谈话时间不超过半小时的规矩，结果二人一聊就是一个多小时。在医生接连示意下，杨成武借口有事要离开。聂荣臻恋恋不舍，轻声说出了一句让杨成武差点泪流满面的话：“成武，不要走，我好久没有这样开心地讲话了。”
