可能性的算法

百科   财经   2023-10-21 21:37   北京  

“可能性”在哪儿?
“可能性”到底是什么?
即使最聪明的人,在面对这个概念时也会心生疑惑。
我在《贝叶斯定理:10个让你更厉害的观念》提及一道题。
你可能也经历过在机场等行李的煎熬。假设是如下状况:‍
‍‍‍‍‍‍1、行李丢掉(没上飞机)的概率是50%;‍
‍‍‍‍‍‍‍‍2、行李的等候时间为10分钟(并且是均匀的)。
请问,你等了5分钟之后,还没看到行李,那么你的行李没被弄丢的概率是多大?
方法一:不靠谱的直觉
首先,用直觉快速解答一下:假设行李没丢,概率是50%,目前还有5分钟,也就是还有50%机会等到行李,那么是不是应该是(50%✖️50%=25%)呢?然而,这个解答是错的。
方法二:用贝叶斯计算
答案是1/3。
我们试着不用公式,来解答一下。
上面两个计算中,第一个直觉上的错误非常有趣。‍‍
没错,假如用平行宇宙的思考方式,很容易想到25%的可能性,如下图:
最开始,可能性一半是丢了行李,一半是在传送带上。
过了5分钟,一半在传送带上的可能性又消失了一半,所以,仍在传送带上的可能性(希望)就变成了一半的一半,难道不是1/4吗?
错在哪里呢?如下图:
我们现在要计算的是“可能性”。
重点在于,过去的五分钟的可能性已经因为时间的发生而消失了。已经发生(且被观察到),就不是可能性了。
概率是对“可能性”的度量。在经历了前五分钟等待且没发现行李之后,这五分钟的可能性已经被观察消除了。
所以,这时“可能性”的基数已经变成(25%+50%),所以计算结果应该是【25%➗(25%+50%)】,答案是1/3。‍
疑惑的地方又来了,在传送带上的可能性,因为时间而消失了一半(变成25%),那么“行李丢失了”的这50%可能性,为什么没有变化呢?
行李可能丢掉的那一半“可能性”,不也是已经发生了吗?
让大脑产生疑惑的是下图:
我重新将空间和时间的可能性混合在一起,绘制了上图:
1、最开始,“行李丢了”和“行李没丢”各为50%,这是基于空间的“可能性”;‍‍‍
2、等候了5分钟且没有看到行李,如上橙色部分,是按照时间分布,来分配时间的“可能性”。‍‍‍‍‍‍
我们的疑惑,来自:
为什么“行李没丢”的50%可能性随着时间压缩到了25%,而“行李丢了”的50%可能性却没有发生变化?
因为“行李没丢”的50%可能性随着时间减半,是观察了5分钟传送带的结果。
而“行李丢了”的50%可能性,即使传送带时间过了一半,但你没有去看(观察),那么行李丢了的概率还是50%。
所以,“可能性”并不是存在于“未来”(基于时间),而是存在于“未知”(基于时间和空间)。
更进一步,概率衡量的,是对未来有价值的“可能性”。
一定会有人说,上面这些讨论是无聊的语言游戏和智力游戏,和现实啥关系都没有。‍‍‍‍‍‍‍
倒是可以顺路把这个问题回答掉:‍‍‍‍‍‍‍‍‍
我们可以模拟一个丢行李的游戏,完全设定上面题目的所有条件,随机重复,在过了五分钟没有看到行李的时候,支持1/3答案的人,和反对者来一个下注游戏,用钱说话。‍‍‍‍‍‍‍‍‍‍
所以,假如有读者质疑上面的计算,不如直接和我打个赌。
(这是一个优良的习惯。在现实中,我们尤其要小心那些言之凿凿却不愿为自己的观点下一分钱注的人。)‍‍
尽管上面时间与空间可能性交替在一起令人困惑,但是相信我,下注游戏的结果会告诉我们,所谓“可能性”,是与未来有价值有关的“未知”,哪怕该“未知”在过去的黑盒子里。‍‍‍‍
这倒是可以给出一个硬核鸡汤式的解读:‍‍
概率所描述的不确定性,是用于衡量未来对我们有价值的可能性(机遇)。

“可能性”的本质
“可能性“到底在哪里?‍‍‍‍
 在上一节的例子里,我们混合了物理世界的可能性,和数学意义上的可能性。‍‍‍
确切说,还有关于时间的可能性,以及人类主观信念的可能性。‍‍‍‍‍
让我们略过那些哲学或文学意义上的探讨,直接来到关于“可能性”的一个巅峰时刻。‍‍‍‍‍‍‍‍‍
有一天爱因斯坦问波尔:你是否真的相信,当没有人看月亮的时候,月亮就不在那里?
波尔回答:你能提供给我一个反向证明吗?你是否能够向我证明,当没有人看着它的时候月亮一直在那里?
在这个被加工过的故事里,我们大约能感觉到双缝干涉、薛定谔的猫、乃至量子纠缠给爱因斯坦带来的深深困扰。‍‍‍‍
在电影《奥本海默》那一众量子物理的大神当中,当年“早已过时”的爱因斯坦才是真正的大王。
事实上,爱因斯坦是第一个指出量子力学的本质是概率性的人,而他的每一次对量子力学的不自洽之处的攻击都给对手带来了启发和荣耀。‍‍‍‍‍‍
《理论最小值:量子力学》提及,在1917年发表的文章《关于辐射的量子论》中,爱因斯坦曾论证伽马射线的辐射要满足统计性的规律。
和波尔等人最大的不同是,爱因斯坦试图去发现概率背后的因果
他不甘心量子力学在微观层面只是验证了“物理学与数学之间预先建立的和谐”,他还想知道为什么。
于是,一派科学家认为:通常关于量子态的概念是不完备的,还存在“隐变量”,只要我们能够知道它(某些缺失),就可以完整地预测量子系统。
另一派则相信:量子力学最多只能完备到对概率的计算,物理学家的工作就是学习,并应用这些计算。
当这个世界最深层的要素都是不确定性的,我们又该如何理解可能性的本质呢?
至少,马克斯·韦伯已经认识到,科学虽然不再是通往确定性的道路,也不再是世界意义的来源。不久后发生在洛斯阿拉莫斯的原子弹试验更是验证了这一点。
月亮在没人看它的时候还存在吗?加州大学欧文分校的认知心理学家唐纳德·霍夫曼的答案是:当你不看它时,它不存在。
他的观点是:我们所有的感官,包括眼睛,根本感知不到客观实在。
现在想象一下你的感官,你看到的每一个物体,你闻到的每一种气味,你感受到的冷热,也只是图标而已,并非世界的客观实在。感官带给我们的是一个用户界面。
比较起他的观点,我倒是觉得他的解释比较有趣:
这个用户界面是自然选择的结果,旨在引导我们的行为,帮助我们生存下来,即获得适应性,而非让我们认识世界的真相。
霍夫曼提出了一个“适应胜过真实(FBT)定理
感知出真实对生存没有帮助,甚至有害,严重到令生物灭绝。
如果空间、时间和物体都不是客观实在的,那什么是客观实在的基石
霍夫曼的答案是:
信息,针对适应性的数据压缩和纠错。

“可能性”的谎言
让我们回到经典物理的世界吧。‍‍‍‍‍‍‍‍‍‍‍
概率对经典物理世界的可能性的研究,尚在我们的直觉触达范围之类。‍‍‍‍‍‍‍‍
概率论的最早提出者卡尔达诺,是一个聪明的赌徒。他极其渊博,但又生活混乱;他颇有天赋,可只算得上一位业余爱好者。
然而,概率恰恰是一种需要被感知的知识。
我见过一些大学教授的概率论述,不管他们写得多么专业,都能隐隐约约感觉到:
他们可能从没真正去过赌场,也没有真正为不确定性下过让自己肉痛的注。‍‍‍‍‍‍‍‍‍‍
这倒不是说,只见过猪跑没长过猪肉的人不能研究如何养猪,而是概率这一概念的确是诞生于赌场。‍‍‍‍‍
卡尔达诺过分沉迷于棋盘和赌桌,他自认为必须受到最严厉的谴责。
他写下了世界上第一本概率著作《论赌博游戏》,这个自我惩罚的副产品,成为人类近几个世纪来最好的思想火花之一。
他第一次给出了关于“可能性”的量化、直观的粗略模型:
某种意义上,卡尔达诺的概率消除了迷信或信仰的确定性,正如后来概率又消除了经典物理学的确定性
在帕斯卡等人的帮助下,概率开始真正成为一门学科。
帕斯卡洞察了期望值的概念。借助这一赌博的核心概念,在大数定律的“驱动”下,赌场发明了轮盘赌。
直至今日,类似的赌博机器还在伪装为“中奖的机会”,将赌徒们的金钱一点点抽干。‍‍
没错,无论是从数学的角度,还是从赌徒的命运看,赌场压根儿就没有“可能性”。
这时,概率不再与“可能性”有关,而是成为制造可能性幻觉的烟雾弹。‍‍
亦因此,赌徒是毫无希望的。

“可能性”的概率权
呼应本文开头的行李问题,我用另外一道好玩儿的题目,来测试一下“观察改变现实的可能性”。
题目:酒鬼去哪儿?
某酒鬼有90%的日子都会出去喝酒,喝酒只随机(概率均等)去固定的三家酒吧,也就是说去每家酒吧的概率都是30%。
今天警察想去抓酒鬼,结果找了其中两家酒吧,都没有抓到。
请问:酒鬼在第三家酒吧的概率是多大?
答案是:
1、假如警察真的是想抓酒鬼,那么酒鬼在第三家酒吧的概率是75%;
2、假如警察是酒鬼的兄弟,不那么想抓他,酒鬼在第三家酒吧的概率是90%。(这个结果有一些不严格的假设。)
酒鬼这道题,最让人疑惑的地方是:
为什么警察“真的抓”和“假装抓”会影响酒鬼在第三家酒吧的概率?
也就是说,酒鬼在第三个酒吧是一个物理事件,而且在警察来抓之前就已经客观存在了,为什么会因为警察心底的主观意识而发生改变呢?
难道有心灵感应这回事儿吗?
请允许我用小白话来把题目分析一遍:
酒鬼去每个酒吧的概率都是30%,这是一个统计结果,也就是说过去100天,酒鬼有30天去酒吧A,30天去酒吧B,30天去酒吧C,10天回家被老婆骂。
那么具体到今天,他要么在三个酒吧中的某一个,要么在家里。不管他在哪儿,他都是百分之百在那里的。
既然如此,概率有什么用呢?是拿来分析可能性的。例如知道概率的大小,警察就知道去任何一家酒吧抓住酒鬼的可能性,都是在家里抓住他的可能性的3倍。一次未必准,但抓上很多次,就越来越接近这个比例。
图示如下:
上图,是上帝视野的统计概率,而现在的情况是,警察去了酒吧A和酒吧B,发现酒鬼都不在。
这其实是一个观察过程。如下图:
经由观察,酒鬼在酒吧A和酒吧B的可能性消失了,相当于对应的平行宇宙“坍缩”了。
接下来,去酒吧C的30%和回家哭的10%,对应了全部可能性。
于是,如上图右侧的计算,在酒吧C的概率是75%。
这就是警察真的想抓酒鬼(且不知道酒鬼在哪儿)的情况下,酒鬼在酒吧C的概率。
那么假如警察知道酒鬼的情况呢?
我试着更精确地表述:
有两个警察一起去抓酒鬼。其中一个很正直,而另外一个坏警察与酒鬼有勾结。
酒鬼还是90%的概率去喝酒,10%的概率回家。
但是,为了不被抓,酒鬼和坏警察商量好,以后只去C酒吧喝酒。
当好警察打算抓酒鬼时,坏警察故意带好警察去A酒吧和B酒吧,以干扰抓酒鬼。
请问在C酒吧抓到酒鬼的概率是多少?
我发现,一旦想要精确地表述问题,问题就毫无趣味了:
当然是90%了。
那么,我想继续追问:对于好警察来说,所做的事情还是一样,为什么在酒吧C抓到酒鬼的概率就从75%变成90%了?
对于好警察来说,他的旧情报还是酒鬼以各30%的概率分别去三个酒吧喝酒。
但是坏警察知道,酒鬼90%的概率是去C酒吧喝酒。
坏警察故意先带好警察去A酒吧和B酒吧,其实是利用自己基于更多信息的“概率权”。
在这种操纵下,好警察去A酒吧和B酒吧的观察行为,并不会导致对应的平行宇宙的“坍缩”。
抓酒鬼这个案例告诉我们:
“判断是可以测度的,相关性的判断就是概率。”
但是,问题往往出现在“相关性的判断”上。
同样,酒鬼被抓的可能性,似乎被知情且想包庇他的坏警察控制了。
和能够设计赌场游戏赔率的老板一样,上面的坏警察也能够设计“可能性”。
这就是我所说的概率权

“可能性”的艺术
俾斯麦有句名言:“政治是可能性的艺术”。
在一本以该名言命名的书里,作者曾经这样写道:
“恰恰是知识的不确定性,让我们需要在每一个时代、每一个情境中不断重返基本的道德问题和历史经验,用我们自己的头脑思考,并以这种思考成就人之为人的尊严。”
在这个灰度的世界里,我们的工作、生活,包括创新探索,都是关于可能性的艺术。‍‍
每当饭桌上人数接近23人,我就喜欢玩儿猜生日重合的游戏。因为从概率上看,当数字大于23,有两个人是同一天生日的概率大于50%。‍‍‍‍‍‍‍‍
生日悖论有一种常规的数学论证方法,但是对于这个看起来有点儿奇怪的概率游戏,我更喜欢一种能够从直观上给出解释的计算方法,其基本思路是:‍‍‍‍‍‍
23个人看起来很少,但是从23个人里随机组成一对,组合就多了很多。一旦从这个角度去思考可能性,就容易理解结果了。‍‍‍
因为没有指定,没有计划,可能性更多了。‍‍‍‍‍‍
市场经济的秘密,多少也与这种更丰富的可能性有关。‍‍‍‍‍‍‍‍‍‍‍‍
互联网更是如此,其强大在于随用户数指数增加的梅特卡夫效应。
许小年在《商业的本质和互联网》里说:
“太阳底下没有新鲜事”,这种效应也存在于铁路网、电话网等“旧经济”的网络中,只不过人们没有注意罢了。
如果我们不深究信息的流动和智能的叠加,仅从连接的可能性,也能推导出网络效应的价值。
在n个人当中,两两通话的可能性,有n(n-1)/2种。
网络的价值随用户数呈指数增长,这个关系被称为梅特卡夫定律,公式为:
就人类大脑的神经网络而言,类似的连接效应涌现出了迄今无法解释的智能和意识,即所谓整体大于部分之和。‍‍‍‍‍‍‍‍‍‍‍‍
这是某种可能性之上的复杂可能性。

“可能性”的信仰
关于可能性,我有一个有趣的观察:‍‍‍
假如你知道某个地方有答案,能够大幅度提升你找到该答案的概率。
以围棋为例,假如你做一道死活题,一般会告诉你“黑先白死”等条件,你知道肯定有手段,只要认真想,水平够,总能试出来。
实战中就不一样了,即使有一模一样的机会出现,你可能也想不出那个手段。
为什么“知道这个地方有手段”能够提升找到这个手段的概率呢?
一方面,这相当于为问题划定了边界,也描述了目标;
另一方面,大脑的计算资源是有限的。
有人会说,既然如此,那我每手棋都假设有手段,不就可以了吗?
高手的确是如此思考的,但比赛时间也是有限的,仍然需要分配。
所以,知道了某处有手段,就可以让棋手在该战场分配更多资源。
在这个话题上,智慧可以分为二阶:
1、一阶是找到某个问题的答案;
2、二阶是知道某个问题有答案。
如果再有三阶,也许可以是:
你知道某个问题有答案,并且知道找到什么人能找到答案。
与此主题相关的故事,有“最速降线”的设擂传奇:
约翰.伯努利花了半年的时间,整出了最速降线的一般解的问题。然后到处挑战。
牛顿一晚上就解决了问题。
除了他的确很牛,还有部分原因是:牛顿知道该英雄帖是有解的。
说说碾压,阿基米德、欧几里得、牛顿等人一两千年没画出来的正十七边形,高斯一晚上画出来了。
这家伙当时以为是老师布置的作业呢。
要是知道是千年难题,高斯还能解这么快吗?
天才的话题不扯远了,回到主题。
我们可以由此得出一个有点儿鸡汤的推导:
假如一个人觉得自己是天选之人,那么他成功的概率会大很多倍。
这大概是关于个人“可能性”的颇有价值的探讨。
在我看来,这才是教育的本质--‍‍‍‍‍
学校的使命不是给孩子什么确定性的东西,而是给他对未来可能性的向往,以及让他对自己的可能性充满信心(不畏惧灰度)。‍‍
其他的不过是细节。
高福院士在一本书的推荐序里写道:
科学发现、技术创新中最重要的是“包容”(tolerance)与“韧性”(resilience)
在范内瓦·布什先生《科学——无尽的前沿》报告中,大量篇幅论述了科学研究的自由必须得到保障,政府的稳定资金投入就是对科研工作者最大的包容与支持。
“从培养下一代科学家的角度讲,为了做出突破性发现,导师会为学生打造自由试错的安全空间,让学生适应挫折,进而审视方案、调整方法,继续开创探索,让他们既有独立变通的能力,又不乏锲而不舍的精神,也就是韧性。”
包容,是对各种可能性的“保留”;
韧性,是在不断逼近答案的可能性优化过程中的进化与从容前行。
可惜,这个世界上的绝大多数教育,是对可能性的摧残。
首先是对“可能性的智慧”的摧残,那些标准化考试和正确答案,只接受100%。
还有就是对孩子未来可能性的控制。
拜托,这不只是一种操控的幻觉,更是因为:
成年人对自己的不确定世界的无能,要从孩子这里报复性补偿。
的确,有人说过,高考是人生最后一个付出就有回报的战场了。
步入成年人世界,没有确定性,只有可能性。
可能性是非线性的,付出未必就有回报。
大多数人都在追求确定性胜利(漫长的教育格式化)中,失去了可能性的本能与智慧。
小孩子是一张白纸,但是一张贝叶斯的白纸。
成年之后,那张纸已经面目全非,不再有对“可能性”的信仰,只剩下绝望二字。

“可能性”的复杂
直至今日,奈特在近100年前对“不确定性”的概念定义依然耀目,他认为:
“不确定性”是没有客观分布的不确定性,表示为人们无法预知没有发生过的将来的事情,它是全新的、唯一的、过去从来没有出现过的。
奈特在《风险、不确定性与利润》一书中区分了风险与不确定性:
风险是有具体概率分布的;
不确定性是缺乏对事件的基本认识,结果是人们无法预知的。
本文从一个小而有趣的概率题开始,粗略地探讨了风险和不确定性背后的可能性。‍‍‍‍‍‍‍‍‍‍‍
我对知识的乐趣非常个人化,并且会沉浸在某种感知的喜悦中,但仍然觉得有必要将“可能性”这一主题的枝桠略作梳理。‍‍‍‍‍
关于“可能性”的话题,远非扔骰子般的智力游戏那么简单。
埃隆马斯克说:“物理定律才是真理,任何人都可以违反人类创造的定律,但我还没有看到有人违反物理定律。”
尽管物理需要倚赖概率,但是许多人可以违反“概率”的有关定律。
例如,大数定律和期望值,在个体命运上经常失效。干蠢事的人因为好运而成功,做对了事情的聪明人却因为随机性而遭遇失败。
牛顿的因果,即使加上玻尔等人的概率,依然无法抚慰普林斯顿大学小道上爱因斯坦的迷惑:
在量子力学中,一个人可以知晓一个系统的全部,却无法了解它的各个部分的信息。
不确定背后的可能性,是对人类的祝福,而非诅咒。
一旦人类试图去消除那种不确定性,可能就会陷入哈耶克所言的“致命的自负”:
“用整体规划去摆脱和征服现代社会的高度不确定性,以及它带来的焦虑和不安”,也许恰恰会剥夺可能性。
作为概率爱好者,我不会将“可能性”的概念局限在聪明的书呆子的世界。
这方面,凯恩斯是个好榜样。《凯恩斯的金融异见》写道:
作为不确定性的诗人,凯恩斯认识到在投资领域,有许多事件“没有任何科学依据,无法形成任何可计算的概率”。投资者根本不可能成为古典理论中理想化的经济人——对预期结果乘以预期概率进行冷酷的计算。
现实世界要复杂得多,不会如单纯的概率题那样有一个分布均匀的随机性假设。
即使行为规则非常简单,“大量这类行为的相互作用,可以涌现新的宏观秩序”。
试图通过单纯的统计套利,并不会获得与智力成正比的回报。凯恩斯说任何统计方法只能关注大量出现故具有平均意义的活动,但真正代表涌现秩序的往往是个别的活动。
在一个“牛顿+达尔文+图灵”的年代,“可能性”在物理世界和虚拟世界里交织进化。
可能性的复杂,将重新引导人类对理性的定义。
康德曾说,人类的不成熟状态就是不敢公开大胆地运用理性。--而这理性也许也应该加上概率的约束,又或是插上概率的翅膀。
对此,我用自己的一段绕口令做个小结:
重点不是“知道自己知道”,也不是“知道自己不知道”,而是知道“知道自己知道”和“知道自己不知道”之间的比例。

最后
人类的存在,来自几乎不可能的“可能性”。
人亦是为“可能性”而生的动物。
假如我们相信会发生的某些可能性,即使还没有发生,甚至未来也不会发生,依然会满心喜悦,满怀期待。Such is life.
人们将极小的可能性称为奇迹。从概率的角度看,无论是全体人类,还是皆为游泳冠军的个体,都是奇迹的产物。
不过,作为奇迹产物的你我,有多久没有相信过奇迹了?
可能性并不依赖于拥有和占有。就像父母对孩子未来的期许。
也许我们不该对确定性有太高的奢望,毕竟至关重要的那部分确定性,例如太阳,地球,空气,以及月球轨道和地球赤道之间恰到好处的夹角......已经足够完美了。
我在朋友圈看到一段话,感觉像是对未来可能性的热烈呼唤,且借来献上。
那是小说《悲歌长啸》结尾的一段话:
“有几次我几乎要给她去电话,告诉她不要一再拖延生活中的好事不要等到她觉得自己已经充分证实自己的价值、已经离过去足够远才去考虑那些好事
因为那个时刻或许永远不会到来。
也许有时你已经冲过那条线,只是自己还没有觉察出来,就像黑暗中的栅栏。


孤独大脑
关于思考的思考
 最新文章