在苏维民撰写的那部回忆录里，杨尚昆毫不避讳的说出了自己的心里话，他直言自己一生做了两件违心事，余生都心怀愧疚。
第一件事是发生在1978年的11月28号，这一天为了能尽快的出来工作，他违心的在审查结论上签下了字，而那审查结论其实对他是不公的，里面列举的一个重要错误是不实的，但为了尽快出来工作，他只能违心的签了名字。
第二件事尤其让他愧疚，余生都一直耿耿于怀，那就是在庐山会议期间，违心的跟着批判彭老总。
以至于后续彭老总的余生境遇，杨尚昆想起来，都觉得愧疚。
1945年10月，杨尚昆接替李富春，成为办公厅主任，他在这个位置工作了20年。在谈到中办这个工作的时候，尤其是坐在主任这个位置上是个什么角色。他用了一个很通俗的比喻，这办公厅主任的工作，就好似一张麻将牌，随时准备着“听用”；简单的说来，就是要你干什么就干什么。
1965年的11月10号，这一天，他突然就被免去了职务，关于这件事，他在书里有着详细的叙述。伟人找他谈话的那天，恰好是姚文元撰写《评新编历史剧〈海瑞罢官〉》在上海《文汇报》发表的那天。
也就是在同一天，杨尚昆就被免去了办公厅主任的职务，对于为何被撤职，他自己也不是很清楚，大致上或许是伟人认为他是个教条主义者吧，又或许是因为他和彭老总关系好的缘故。
总归，当时免去他职务的原因，是为了后续政策的顺利实行。
被撤销职务之后，1966年的7月，他就被隔离审查了，一直到1975年的2月9号，才被解除了所谓的监护。
1978年的11月23号，这一天，专案小组给出了一个所谓的审查结论，这个结论里肯定了他的当年的工作成绩，同时也表示会补发他那九年审查期间的工资。
但是呢，最为关键的一条，就是关于他所谓的私自录下伟人谈话这个“莫须有”的罪名，却没有明确的提及。对于这个留有重要“尾巴”的审查结论，他本该是可以拒绝的，但是为了及早的出来工作，28号这天，他不得已只好在审查结论上签下了名字。
这个“尾巴”直到十一届三中全会之后，才重新进行了认真彻底的审查，1980年的10月，正式发文否定了当年所谓“秘密录音”的事情，纯属是子虚乌有，这个“尾巴”才算是得到了彻底的解决。
