相对而言，吉米·卡特是李光耀对之评价较低的美国总统。
这当中最大原因在于卡特试图将外交和国防重点从亚洲转移到非洲，而这与新加坡以及东南亚诸国的战略利益严重相悖。若不是负责东亚和太平洋事务的助理国务卿霍尔布鲁克和国家安全顾问布热津斯基极力阻止，卡特还想要将驻韩的四万美国军队全部撤出。
而对于李光耀而言，尽管美国在越南遭受重大挫折，美国人的沮丧和试图暂时忘却亚洲的心情可以理解，但李光耀还是希望美国能够维持在亚洲的势力，以帮助东南亚诸国抵挡共产主义的侵袭。
因此，虽然卡特就任总统后和李光耀的第一次会谈中明显对亚洲政策不敢兴趣，但李光耀还是全力向卡特说明美国对这个区域的稳定和成长有多重要、美国若转移焦点将如何削弱本区域非共国家对它的信心。
而1979年发生的三件大事让卡特不得不重新重点关注亚洲。第一件是1月底邓赴美同卡特会面以建立双方正式外交关系，并照会他中国准备对越南侵占柬埔寨的行动给予严惩；第二件是2月份伊朗巴列维王朝的倒台，11月美国驻伊大使馆52名美国人被劫为人质；第三件是12月苏联入侵阿富汗。
在李光耀看来卡特太天真，在此之前卡特还相信苏联领导人都是讲道理的人，会对美国诚恳的和平姿态做出回应，在美国和苏联签订了限制战略武器条约后，双方的军备竞赛便能够得以缓和。
李光耀在对卡特做评价时多少有点讥讽意味：
“卡特是个虔诚的大好人，也许太好了，根本不应该当总统”
“美国人在1980年11月舍弃了一个种花生的农民，把选票投给一个好莱坞演员，（对美国、对世界）那倒是件好事”
卡特给李光耀留下深刻印象的另一点是：非常关注细节。
1977年10月，李光耀率领新加坡政府代表团和美国政府代表团会谈时，卡特“非常小心地预算自己的时间”，记者拍照五分钟，和李光耀单独会谈十分钟，然后双方代表团进行四十五分钟的讨论，都是准时开始、准时结束。卡特在会议结束前十五分钟，还从口袋里拿出一份清单，看看自己是不是已经谈过所有的项目。
让李光耀甚为不满的是，双方谈的尽是些无关痛痒的事，就是不谈宏观战略问题。
但是卡特对于细节的关注也有让李光耀感到钦佩的时候，那就是在促成埃及总统萨达特和以色列总理贝京化解战事纠纷时，卡特对于两国相持不下的每一口水井、每一堵围墙、每一道边界都了如指掌，这让李光耀大感惊讶。
埃及和以色列达成的戴维营协议现在普遍被认为是卡特政治生涯最大的一项成就。至于中美建交，卡特只不过是站在尼克松打下的基础上踮了踮脚、萧规曹随罢了。
相比起做总统时的乏善可陈，卡特在卸任总统后几十年的坚持让人心怀敬意。也许他的眼光、能力不是很好，但确实如他早年自传的书名所显示，这一生他尽了最大努力。
