绍兴十一年，公元一一四一年，民族英雄岳飞被秦桧和宋高宗害死在风波亭。次年四月，金国册封高宗为皇帝。七月，金国归还宋徽宗的遗骨及高宗生母韦太后。
中国有句话叫“家贫出孝子，国难显忠良”。从“靖康之耻”到“绍兴和议”的签订，我们看到南宋出现了很多忠臣，如李纲、宗泽、岳飞、韩世忠、吴玠、吴璘等抗金名将。岳飞的死令这些抗金将领非常寒心，其中包括韩世忠，他的抗金意志也是非常坚决的。
《绍兴和议》签订后，宋高宗为了粉饰太平，给了韩世忠一个虚职，封他做福国公，他也不再做枢密使了。从此以后，韩世忠闭门谢客，甚至他原来的部将想见他都很难。他绝口不言兵事，也不再谈恢复中原，每天骑驴携酒，带着一两个童子在西湖上游玩。韩世忠为人忠直，他死前跟自己的家人讲，我的名字叫做“世忠”，但是你们不要避讳这个“忠”字，如果你们不谈“忠” ，那就是忘记了忠义之道。他跟前来探病的部将们说，“我以布衣百战，致位王公”，意思是我是一个普普通通的社会底层的人，靠着军功能够成为王公，现在能够死在床上，已经是一件很幸运的事情了，没有什么可悲伤的。韩世忠对钱财名利看得很淡，他每次得到皇帝的赏赐都是分给部将。按照当时的规定，他这样的高官的田产是不需要交税的，但是他就像普通的编户齐民一样给国家交粮食。他晚年居于闲职，就像一个从来没有当过大官的人一样，非常平易近人。晚年时，他喜欢研究佛家的和道家的学问，参化释老，自号“清凉居士”。他的手非常巧，设计了很多新型武器，在抗金的过程中起到很大的作用，就连骑马跳涧的训练方法都是他发明的。韩世忠非常勇敢，他曾经在战场上中箭，像关云长一样刮骨疗毒。他的十根手指最后只剩下四根，疤痕遍布全身，瘢瘢如画。史书中说，韩世忠和秦桧同朝为官，两人见面时拱拱手而已，他一句话都不跟秦桧说。他跟秦桧关系很差的时候，有人劝他说，您看岳飞都死了，您再这么跟秦桧对着干的话，您将来怎么办？韩世忠回答说，“今畏祸苟同，他日瞑目，岂可受铁杖于太祖殿下？”意思是我现在害怕祸患不吱声的话，死后太祖皇帝一定在地下用铁杖打我，我害怕这个，所以我还是要讲。还好韩世忠因为地位高、功劳大，秦桧也拿他无可奈何。
但是，其他人如果倡导恢复故土的话，那秦桧一定会狠狠地打击。
当时有一个太学生在墙上写了一句话：夫差，你难道忘记了越王勾践杀死了你的父亲吗？这显然是在提醒宋高宗，他的父亲徽宗是死在金国人的手里。此事秦桧发现后开始调查，最后把这个太学生贬到广东。
