统计推断第三派——Fisher派

百科   2025-01-19 08:22   广东  

罗纳德·艾尔默·费希尔(Ronald Aylmer Fisher, 1890年2月17日 - 1962年7月29日)英国统计学家、遗传学家和优生学家,是现代统计科学的奠基人之一,被誉为“推断统计之父”。


很多人将Fisher看作频率派最优化理论的创始人,但其实他并不是一个纯粹的频率论者。因此,将Fisher从两大派别中独立出来似乎是一个更好的选择,以此来评价Fisher的历史贡献。


Fisher在贝叶斯观点和频率观点之间进行了一系列巧妙的妥协,并辅以一些独有的特征,这些特征在应用问题中特别有用,从极大似然估计这项伟大发明中,我们已经受益良多。


Fisher的迷人之处在于,他总能找到折中的办法,甚至将理论中的矛盾搁置一旁,只考虑解决实际问题的最佳方式,而不拘泥于理论本身的完美。


例如,在Fisher数量惊人的重要想法中,随机化推断条件性就是相互矛盾的。这有点像在经济学中说马克思、亚当·斯密和凯恩斯是同一个人。因此,谈论Fisher往往很难达成哲学上的和解,但这似乎并不影响Fisher思想的实用性。


青年Fisher


1910年,在20 岁的Fisher发表第一篇论文的两年前,统计学界就诞生了一系列令人印象深刻的理论成果:贝叶斯推断、最小二乘法、正态分布、中心极限定理、计数数据的二项式和泊松方法、高尔顿的相关性和回归、多元分布、皮尔逊的x-test和t分布等。虽然硕果累累,但这些理论成果还是一堆松散的概念,仍然缺少凝聚这些理论成果的核心理论。用博克斯的话来说就是,整个田野就像一个未经勘探的考古遗址,它的结构在碎石堆中几乎看不见,它的宝藏散落在文献中。

为了凝聚这些理论成果从而建立理论体系,大体有两个核心理论可选。


  • 贝叶斯派:以拉普拉斯为代表人物的客观贝叶斯。


  • 频率派:以皮尔逊为代表人物的频率论。


但这两项单看每一项,都无法让统计学摆脱一揽子技术集合的现实,真正变成一门系统性的学科。


是Fisher的努力最终实现了这些理论成果的凝聚。在1925年的标志性大论文中,Fisher估计理论已经包含众多核心元素:一致性、条件性、充分性、似然性、Fisher信息量、有效性和极大似然估计的渐近最优性。利用这些“黏合剂”,统计学终于变成了一门系统性的学科。其中,Fisher真正的杰作是为统计估计提供了一个最优性标准,一个在任何给定的估计问题中可能做到的最好的标准——极大似然估计(MLE)。


极大似然估计能够将贝叶斯世界和频率世界双向关联起来,并且有优越的频率特性:在大样本情况下,极大似然估计几乎是无偏的,并且有着最小的可能方差;在小样本情况下,极大似然估计与其他最佳方法的结果相差几个百分点。



尽管Fisher并不是第一个提出参数估计的极大似然方法的人,但他颠覆性地理解了极大似然估计良好的推断性质,特别是借助了Fisher信息量的概念。Fisher 极大似然估计理论和 Fisher信息量都关乎给定分布模型下的最佳参数估计。Fisher的成果让频率派得以快速发展。


此外,在拟合优度的基础上,Fisher提出了显著性检验的思想。在这一思想的启发下,N-P理论被提出,它提供了一个最优假设检验的算法,这也许是后世最优雅的频率派改造成果。估计理论和检验理论的成熟,使得统计推断更加结构化和系统化,对此Fisher功不可没。

但令人惊讶的是,Fisher很早就否定了贝叶斯主义。例如,Fisher非常排斥任何对参数做先验的假定,为了规避贝叶斯统计中的后验分布,他曾原创性地提出了信任分布的概念。同时,Fisher也曾一度被看作呆板的Neyman-Wald决策理论学派的强硬频率主义者。我们在梳理了频率派、贝叶斯派及Fisher的贡献之后发现,在从贝叶斯到频率的线性尺度上,Fisher在哪里都没有驻足



Fisher的独立思考和坚持让统计推断的基础三大派别形成鼎力之势,频率派贝叶斯派Fisher派在20世纪上半叶就逐步确立了。在贝叶斯派和频率派两个主流派别之间,Fisher插入了第三种哲学,并深刻地影响了科学哲学乃至决策心理学。接下来,我们从三个维度来审视这三种哲学。


一,个人决策与科学推理


对于贝叶斯派,从Savage de Finetti 的主观贝叶斯到Jeffreys的客观贝叶斯,都强调个体决策,这一特质最契合商业思维,因而商业是贝叶斯应用最为成功的领域。


作为对立方,频率派的目的是使他们的客观推理得到普遍接受。因此,必须利用频率观点下重复实验给出的严格的结论说服所有或大部分科学界人士。


Fisher的站位更接近频率派,因为Fisher些许偏执地认为,统计学应用的正确领域就是科学推断领域。


二,综合与分析


贝叶斯派强调收集所有不同来源的信息,并将这些信息整合成最终的推论。


频率派倾向于把问题分解成单独的小部分,这样就可以对问题的各个部分进行单独的分析,从而达到最佳的效果。


Fisher强调使用所有可用信息进行正确推理,因此自然更赞同贝叶斯观点。Fisher无论在理论上还是方法论上都倾向于贝叶斯观点,尽管他口头上并不承认。实际上,基于Fisher信息量的极大似然估计及其信任区间理论非常适用于组合不同来源的信息。


三,乐观与悲观


贝叶斯派在数据分析中往往更具侵略性和冒险性,他们是天性乐观的,认为如果什么事情能成功,那么它一定会成功。


频率派是保守和悲观的,认为如果有什么地方出了问题,那么它一定会出问题。


Fisher在这里占据中间立场。他不赞同决策理论家们处理精细的数学问题,实际上,Fisher哲学中最吸引人的一点就是合理妥协,即谨慎但不过度关注极端的情况,这通常是面对大多数现实问题的正确态度。


Fisher努力尝试建立一个连贯统一的哲学系统,但从结果上看,他并没有达成这一宏愿,反而更像是在贝叶斯派与频率派之间进行了巧妙的妥协,只有一点除外,即易用性。从极大似然估计到方差分析,从显著性检验到信任区间,Fisher哲学总是用非常实际的计算术语来表达,并深入日常实践。


本文内容来自徐鸿鹄《统计信仰:驾驭无序世界的元认知》,做少量修改并添加图片,以供学习参考。

尚万只老虎
究中西文化,通数理人文,成一家之言。