1955年的大授衔中，黄克诚被授予了大将军衔，地位显赫。不过作为一员名将，一个共产党员，他同样也有着属于自己的个性和坚持。
1959年的庐山会议上，彭德怀因为一封“万言书”而遭到了批判。这也成为了彭德怀元帅一生的重大转折点，同样这也成为了很多人一生中的转折点，当时身居高位的黄克诚将军便是其中之一。
因为敢讲真话、喜欢仗义执言，在明知不可为之下，他却还是选择了支持彭德怀，就这样他也被划入其中惨遭撤职。而在特殊时期，他又一次遭到了长期的迫害，直到1977年底才重返军队工作岗位， 1980年才正式平反。
而在1977年黄克诚重返工作岗位后，是面临了很大压力的。面对着同样被迫害的老战友，怎么平复他们的冤屈也就显得尤为重要。
事情还要从1977年11月说起，已经远离工作岗位18年的黄克诚终于结束了苦难生活，重新返回军队，担任中央军委顾问。
由于长期营养不良，再加上辛苦劳作和被人攻击，他的一只眼睛失明，另一只的视力也严重下降，甚至于已经没办法详细阅读报纸。因此在工作中，如果遇到公文，一般都是秘书全程读下来，然后黄克诚再决定该怎么办理。好在顾问工作不忙，他的压力也不大，因此只要有工作任务，他都努力干好，没有任务的时候，就养精蓄锐，调理身体。
而就在他专心干好顾问工作的时候，时任中组部部长胡耀邦忽然登门拜访，代表中央询问他的意见。原来中央决定安排他担任中纪委常务书记，这是一个非常重要且需要处理复杂人际关系问题的重要岗位，因此也就需要德高望重、性情秉直的长者来主持，无疑黄克诚很满足条件。要知道，就连年长他9岁的毛主席也都亲切称他为“黄老”。
不过对于中央的安排，黄克诚十分意外，表示自己对军队比较熟悉，但对纪律检查工作并不熟悉，无法胜任该职务，建议选派其他年富力强的干部担当大任，于是当场就谢绝了。
但胡耀邦并未放弃，而是建议黄克诚再考虑考虑，不用急着决定。过了几天，没想到胡耀邦再次登门，黄克诚表示自己身体状况不佳，尤其是视力问题，实在不适合担任该职务，胡耀邦提出可以多安排几个秘书帮助他处理工作，但他还是坚持拒绝。
就在黄克诚以为胡耀邦不会再来的时候，过了一段日子，胡耀邦又来了。对此，黄克诚十分意外，也十分感动，但考虑到自己的身体状况，他还是坚持表示自己承担该工作很可能力不从心，办事不周全，不利于国家的事业。
不过胡耀邦这次早有准备，告诉他中央已经决定安排陈云担任中纪委书记，黄克诚协助陈云工作，只起到辅助作用。
事情虽然已经定下了，但黄克诚还是决定去找陈云辞职。不过陈云不同意，同时和他坐下来谈心，提到了一个关键的问题，那就是经历了特殊时期后，现在国家正处在历史转折的重要关头，但是组织内的风纪问题很严重，如果这样下去，老同志们真的能安心回家养老吗？
因此陈云建议黄克诚可以少关注复杂的人际关系工作，一门心思抓纪律抓作风。在陈云的劝说下，黄克诚当即表示：“为了正风肃纪，把我这把老骨头拼碎了也无妨！”
在中纪委成立之后，首先颁布了一系列规定，不允许干部搞特殊化。
为了引导干部们落实中央精神，黄克诚以身作则，第一时间告诉妻子，中纪委规定干部只能享受一套公家住房，要求妻子将单位以前分给她的宿舍归还。
这套宿舍虽然面积不大，只是普通的三居室单元房，但黄克诚一家人在这套房子里经历了最艰难的岁月，期间的酸甜苦辣只有当事人最理解，房间里的每个角落都是回忆。因此妻子多少有些舍不得，但为了干好工作，妻子第二天就办理了归还手续。
为了让干部们在思想上重视起来，黄克诚对老战友也是铁面无私的。
当时主持部队总参工作的老将军杨勇设宴款待了几位离开总参的战友，结账时以总参的名义开了400元的发票。
在70年代末，400元不是小数目，当时很多基层干部职工每个月的工资只有30多元。黄克诚得知此事后十分生气，当即下令严查。
其实在革命战争年代，杨勇一直是黄克诚的老部下，两人有深厚的战友情。在十年特殊时期，两人还被关在一处，相互鼓励才坚持下来，这份感情可以说是生死之交。
因此黄克诚也不拐弯抹角，直接给杨勇打了电话，讲了掏心窝的话，然后批评了这种行为。
杨勇也意识到自己的行为有些不妥，如果其他干部看到了也纷纷效仿，这组织纪律从何谈起呢？于是第一时间自掏腰包把饭钱补上，写了检讨，并公开发了通报。
除了风纪问题，其实还有一个难题，那就是平反冤假错案，黄克诚亲自参与领导了这项工作。
当时很多老干部平反后都一肚子怨气，这是必然的，毕竟遭到了那么多批斗。
一次，两个纪检干部向黄克诚汇报工作，说工作太难干，有的平反干部发牢骚，有的不签字，有的讲条件。尤其是张平凯将军，直接将平反文件撕碎，并大吼：“关了老子20年，一张破纸想把人打发了？”
听了这些，黄克诚告诉两位年轻干部，张平凯将军身经百战，为了革命多次负伤，蒙冤这么多年，感情上无法接受，这是可以理解的。
他劝年轻干部别太着急，耐着性子多和老将军们交流。
其实黄克诚对张平凯的性格很了解，张平凯是贫苦出身，18岁跟着彭德怀参加起义，23岁成为师级干部。长征期间，身患疟疾且无药可吃的张平凯拄着木棍走完了长征，期间黄克诚多次关照他，才让他没有牺牲在半路上。后来张平凯因为带领队伍自力更生发展生产，还多次得到了毛主席的表扬，但建国后他因为反映一些盲目生产的问题，和彭总一样都被打倒了；而且十年期间，他也被关押了10年，写的20多万字彭总文章也被焚毁。
黄克诚想了想，让年轻干部理解也不是个事，于是在平反文件上盖了自己的印章，让两名干部再去找张平凯。
张平凯刚想发火，看到了黄克诚的个人印章，一瞬间冷静了下来，说：“黄老自己都还没平反，没提要求，我还有什么资格计较呢？”其他干部听说后，也纷纷放下了执念，自己宽慰自己。
在黄克诚的努力下，纪律工作取得明显成效，很多历史问题得到了解决。
1986年，黄克诚因病去世，享年84岁。
