乾隆十三年春，张廷玉年七十七，体衰神疲，不克任繁剧，上疏乞骸骨。帝曰："卿受两朝眷，奉先帝遗命，宜配享太庙。"廷玉蒙殊宠，汉臣中独享此荣。帝又曰："朕体卿老，许十日一至军机处。"廷玉唯诺，心有戚戚。
三月十一夜，帝东巡，皇后富察氏薨于道。帝哀恸逾常，怒责失仪者。翰林阿克敦祭文误书，遭极刑；刑部妄议，皆黜；皇长子永璜、皇三子永璋，哀容不至，斥为不孝；总督周学建、塞楞额，丧未百日剃发，赐死；廷玉虽家居，亦被牵连，罚俸一年。廷玉惧，复请归。
帝或悯之，许廷玉致仕。旨曰："卿宜自爱，俟朕五十寿，卿亦九十，再聚于紫禁。"廷玉请太庙事，帝不怿，然赐券，又赠诗，有"青田侑庙，郑碑摧"之句。廷玉未悟，帝怒，责其自陈。廷玉抱病，急入宫请罪。帝疑其植党，怒斥之。廷玉自请罢陪祀，帝遂夺其爵，以大学士致仕。
乾隆十五年春，廷玉归。七月，学政朱荃事败自尽。帝以朱荃与廷玉为亲，疑其结党，命抄其家。德保奉命，尽收御赐，无罪证。帝责德保，然皆知出帝意。
九月，帝数廷玉罪，罚银二十万。廷玉家产尽，借贷偿之。乾隆二十年，廷玉卒。帝下旨，述其罪，然曰："张廷玉虽有过，余不加重谴，仍准以大学士休致，及其卒，配享太庙。"
