何园早年大门位于花园巷，正面朝南，门牌18号。进门后是宽敞的院落，西首有一栋大宅，结构系中式，肥梁胖柱，材料为名贵的上等楠木。四周外沿一改传统的封闭围合形式，采取通透明亮的玻璃墙面，古板、压抑、沉闷的氛围一扫而去，充溢着明快、开放的气息。这幢大宅，扬州人称之为楠木厅。
厅前廊檐下，悬挂一副对联：“退士一生藜苋食；散人万里江湖天”，撰联人是晚清诗人、书法家何绍基。关于这幅对联，历来的文字介绍语焉不详，有的园林解说词中，干脆避而不谈。《古今扬州楹联选注》对这副楹联加了按语：“何绍基于清同治年间来扬州，与盐运使方濬颐相唱和，逝于同治十二年（1873），而何园初建于光绪九年（1883），何绍基早已去世，故此联为别处移来。”话直白明了，似乎此联与何家没有多大关系。
如果仔细考证，事情怕没这么简单。何绍基与寄啸山庄的主人同姓，这倒或许是巧合。何绍基是湖南人，而何芷舠的祖籍在安徽望江，两者相距甚远，只能说“五百年前是一家”，不大可能是直系亲属。
何绍基(1799-1873年)，大何芷舠36岁，不属同辈，他比何芷舠的父亲何俊(1797~1858年)小两岁，他俩才是同时代的人。何俊跨入仕途的时间略早于何绍基，两人先后成为翰林。何俊在咸丰年间任江苏布政使，调两淮盐运使（未到任），而在这一时期何绍基也生活在江苏，曾主持扬州、苏州书局。可能的情况是，两位翰林有过交往，这副对联是何绍基给何俊的宅院题写的。何芷舠也很喜欢这副情致散淡的联语，并一直保存着父执
何芷舠49岁的那年，辞官回乡，在扬州购买双槐园旧址，兴建后来被命名为寄啸山庄的豪宅时，把这副家藏的旧联悬挂在主厅最前沿，同园内其他新添的楹联一样，表明自己归隐江湖的傲岸志向。
作为从官场上急流勇退的何芷舠，在扬州大兴土木，营造安度晚年的豪宅，不可能从别人家移用一副对联，这既不合情理，更有失豪门的体面。合乎情理的解释是：“别处”是自家别处的宅院。因为对此联情有独钟，挪到新建的住宅中继续使用。
何芷舠辞官前任湖北汉黄德道兼江汉关监督，是公认的肥缺。何正当中年，辞别官场，回家“卖红薯”，其主要原因是他对腐败无能的清廷已失去信心。
（何园鸟瞰图）
自鸦片战争后，中国沦为半封建半殖民地国家，国家主权大都沦丧，万事仰承洋大人的鼻息。海关本是掌管国家权利的重要机关，但此时海关官员已成为洋人任意摆布的傀儡。富有爱国正义感的何大人，一方面感叹朝廷的昏庸，另一方面在力所能及的范围内，极力维护国家主权，与海关内的洋人，从容周旋。然而，个人的力量毕竟单薄，过分与洋人顶撞，不符合朝廷对洋人惟命是从的要求。唯一的办法，只有逃离是非之地，挂冠归隐。
家藏的那副何绍基撰写的旧联，语意与何芷舠归隐的心情吻合。挂将出来，让每一位来客进门后第一眼就能看到它，“司令何须细打听”，园主的告白已昭然若揭。这是我国有骨气的知识分子的高明之处，情绪的表露用一种文雅又比较隐晦的方式。
此联用典不深奥，现代人单看字面，都能猜出个八九不离十。退士、散人，说得都是隐居之士；“一生藜苋食”是借喻，虽然离开了官场的花花世界，淡泊名利，粗茶淡饭，倒也安之若素，甘之如饴。人在江湖，但并没有浑浑噩噩，糊里糊涂混日子，“江湖常有庙廊忧”，整天心系的仍是国家存亡、民族安危的大事。高迈的气概和情怀，与一味的个人伤感、颓废，自然能比出高下来。此联与悬挂在船厅廊下的那副楹联“月作主人梅作客，花为四壁船为家”，都表明园主傲岸不群、忧国忧民的心绪，可谓互为呼应。
何绍基出生在湖南道州，幼年家境贫寒。8岁随母入京，早年是阮元、程恩泽门生。18岁应京兆试，道光十六年（1836）丙辰恩科二甲进士，授翰林院编修。历任文渊阁校理、充福建、贵州、广东乡试主考官。咸丰二年（1852）任四川学政。何禀性耿直，因条陈时务得罪权贵，被斥为“肆意妄言”，受谗言所害，降官调职，直至辞官。后期讲学授徒，游历河山，四海为家，晚年曾主持过扬州书局。传世的主要著述是《东洲草堂诗钞》、《东洲草堂文钞》，较翔实的记录下他不平凡的一生。
何绍基的书法成就很高。颜欧赵柳各体书融于一炉，自成一家，草书尤为擅长。有人称赞他的书法是“有清二百年以来第一人”，他自己在总结一生的学书经历时曾说：“余学书四十余年，溯源篆、分，楷法则由北朝求篆、分入真楷之绪。”晚年何绍基的书法已臻炉火纯青，笔意纵逸超迈，时有颤笔，醇厚有味。济南大明湖历下亭楹联杜甫名句“海右此亭古，济南名士多”，即为他所书。
