一、贝叶斯统计(Bayesian Statistics)
先验分布:统计推断前,对未知参数的初步判断,基于历史、专家经验或主观信念,不必客观。
后验分布:结合先验和样本信息,通过贝叶斯定理计算得到的未知参数新分布,综合了两者信息,是贝叶斯推断的基础。
一、频率学派(Frequentist School)
基本观点:世界是客观的,概率是事件在长时间内发生的频率。必须通过大量独立采样来获得统计均值。不主张先给出一个主观的先验概率或假设。
应用场景:适用于可以通过大量重复实验来获得统计规律的场景,如抛硬币、掷骰子等。
优势:在简单、可重复的实验场景下非常有效。
局限:对于无法进行大量重复实验或实验成本高昂的现实场景,频率学派的方法可能不适用。
二、贝叶斯学派(Bayesian School)
基本观点:概率是一种信念度,可以有主观的先验概率。通过观察新的数据来不断更新先验概率,使之逼近客观事实。
应用场景:适用于需要估算概率但无法进行大量重复实验的现实场景,如赶飞机时间的估算、《狼来了》故事中村民对小孩诚实度的判断等。
优势:能够结合先验知识和新数据进行概率推断,更加灵活和实用。
局限:先验概率的选择可能带有主观性,需要谨慎选择。
二、贝叶斯定理(Bayes' Theorem)
P(A|B) 是后验概率,即在事件B发生的条件下,事件A发生的概率。
P(B|A) 是似然函数,表示在事件A发生的条件下,事件B发生的概率。
P(A) 是先验概率,即在没有事件B发生的条件下,我们对事件A的信念或概率估计。
P(B) 是事件B的边缘概率,它是所有可能情况下事件B发生的概率总和,通常作为归一化常数,确保后验概率的总和为1。
三、贝叶斯网络(Bayesian Network)
什么是贝叶斯网络(Bayesian Network)?贝叶斯网络(Bayesian Network,简称BN)是一种基于概率推理的图形模型,用于表示变量之间的依赖关系。它由一个有向无环图(Directed Acyclic Graph,DAG)和条件概率表(Conditional Probability Table,CPT)组成。
有向无环图(DAG):用于表示变量之间的依赖关系。图中的节点代表变量,有向边(或称为弧)则表示变量之间的依赖关系。如果两个节点之间存在有向边,则意味着一个节点的状态会影响另一个节点的状态。
条件概率表(CPT):与DAG中的每个节点相关联,用于描述节点与其父节点之间的概率关系。条件概率表详细列出了在给定父节点状态下,当前节点取各个可能值的概率。
Bayesian Network