在民国时期的众多军阀中，杨森无疑是一位极具传奇色彩且充满争议的一位。这位出身于清末小官吏家庭的原国民党上将，自青年时期就投身军营，踏上历史舞台后，曾有过制造“平江惨案”、“围剿”红军、跟随蒋介石进行内战的斑斑劣迹。可另一面，他也有着投身护国战争、率领20军出川抗日，先后参与淞沪、武汉、长沙会战，收复独山等诸多功绩，其一生可谓错综复杂，褒贬参半。
1949年，解放军进逼重庆，时任重庆市长并兼任卫戍司令的杨森坐上了逃往台湾的飞机。其实在此之前，刘伯承元帅曾经派人联络他，希望他能够认清楚历史大势高举义旗，可最终他还是选择了离开大陆。
只不过在乘飞机出逃前，他还是向已经接任了20军军长的儿子杨汉烈下达了一条命令，率领军队起义。后来，杨汉烈起义后被任命为解放军第7军第19师的师长。新中国成立后，他转业退出军队，曾一度出任过甘肃省政协副主席。
抵达台湾后，手中已无兵权的杨森和许多国民党的老牌军政大员一样，只得到了一个“顾问”的闲职。在政治上，他一直保持着极为谨慎的态度，对蒋介石父子的一些举措也从不发牢骚，而是一直保持沉默，后来便渐渐远离军政。1960年，深知他钟情体育的蒋介石委任其出任“体育协会理事长”一职，这是一个靠着社会募捐来维持运转的民间组织。上任之后，杨森利用职务方便圈了不少钱，不过他的一些举措也确实促进了台湾体育的发展。
在负责体育领域工作期间，为了扩大自己的影响力，杨森曾经“以身作则”参加过许多体育方面的活动，尤其是登山，每周他都要坚持登一次山，风雨不辍。在其86岁那一年，他还曾经登上过有着“台湾之巅”美誉的玉山，并在山上高呼“总统万寿无疆”，以此向老蒋表达忠心。
1974年，杨森已经90岁，这一年蒋经国以其年迈为由，用其他人取代了他“体协”理事长的职位，而为了照顾他的面子，蒋经国给了他一个名誉理事长的虚衔。对此，他很是不服气，于是他作出了一个惊人之举，那便是以90岁的高龄再登玉山，一时轰动台湾。而同样是在这一年，杨森还做过一件令人惊讶的事情，那便是娶了自己的第十二位姨太太。
杨森在历史上一直以“妻妾成群”而被广为人知，其一生公开被外界所得知的妻妾多达12位，子女更是有43人。
1974年，杨森过90岁大寿，场面非常隆重，蒋介石不但亲自命人给他布置了寿堂，更是手书了一幅寿轴，而参加寿宴为其祝寿的人更是多达三四千人。在寿宴之上，同为四川人的国民党大员张群也到场为自己的这位老乡祝寿，两人谈话间杨森提到他喜欢和年轻人在一起，这样才有朝气。张群听他这话，知道他这是又想要再娶，于是便打趣地说道：“那你就再娶一个”。
果然，就在90岁生日宴会后不久，已经耄耋之年的杨森又做了一次新郎，以招聘秘书的名义，娶了只有17岁的国中学生张灵凤，做了自己的十二姨太。两人结婚后还不到一年的时间，这位年轻的十二姨太便生下了一个女儿，此事一时间成为了一大奇谈。
杨森去台湾之后，生前一大愿望便是能够重回故土四川，然而直至生命的最后时刻，他的这一愿望也未能实现。1977年，这位“采花将军”走完了自己的一生，时年93岁。
