协方差矩阵-在离散中求“聚合”

乐活   2024-11-23 23:22   江苏  

方差是均值之上的产物,然后协方差又比方差更近一步,然后带个矩阵的话,可以说明很多变量的关系。

协方差(Covariance)是用于衡量两个随机变量之间线性关系的强度和方向。协方差告诉我们两个变量是趋向于一起增大或减小(正相关),还是一个增大而另一个减小(负相关),或者两者之间没有明显的线性关系。

假设有两个随机变量X和Y,它们的期望分别为E(X)和E(Y),那么X和Y的协方差Cov(X,Y)定义为:

Cov(X, Y) = E[(X - E(X))(Y - E(Y))]

计算每个变量与各自均值的偏差X - E(X)表示X的每个取值与X的平均值之间的差值,Y - E(Y)同理。

计算偏差的乘积将两个变量的偏差相乘,如果两个变量同时大于或小于均值,乘积为正;如果一个大于均值,另一个小于均值,乘积为负。

计算乘积的期望对所有可能的样本点上的乘积求平均,得到协方差。

协方差的意义:

  1. 正协方差: 表示两个变量呈正相关,即一个变量增大,另一个变量也倾向于增大。

  2. 负协方差: 表示两个变量呈负相关,即一个变量增大,另一个变量倾向于减小。

  3. 零协方差: 表示两个变量之间不存在线性关系,但并不意味着两个变量之间完全独立。


对称性 Cov(X, Y) = Cov(Y, X),线性性 Cov(aX+b, cY+d) = acCov(X, Y) (a, b, c, d为常数),方差是特殊的协方差 Var(X) = Cov(X, X)。

协方差矩阵是一个方阵,它描述了多个随机变量之间的协方差关系。

协方差矩阵想象成一个弹簧系统。如果两个变量的协方差很大,那么它们就像两个紧密连接的弹簧,当一个弹簧伸展时,另一个弹簧也会跟着伸展。而如果两个变量的协方差很小,那么它们就像两个松散连接的弹簧,一个弹簧的运动对另一个弹簧的影响很小。

简单来说,它可以告诉我们:

  1. 各个变量的方差: 协方差矩阵对角线上的元素就是各个变量的方差,反映了每个变量自身数据的离散程度。

  2. 变量之间的协方差: 协方差矩阵非对角线上的元素表示不同变量之间的协方差,反映了两个变量之间的线性相关性。

对真实的世界建模-概率论(分布&计算)  关于方差在这个里面稍微写了一下。

协方差的含义:

  1. 正协方差: 两个变量的变化趋势一致,即一个变量增大时,另一个变量也倾向于增大。

  2. 负协方差: 两个变量的变化趋势相反,即一个变量增大时,另一个变量倾向于减小。

  3. 零协方差: 两个变量之间没有线性关系。


协方差矩阵的数学表示,假设我们有n个随机变量X1, X2, ..., Xn,它们的协方差矩阵C可以表示为。

C = [cov(X1, X1)  cov(X1, X2)  ...  cov(X1, Xn)]    [cov(X2, X1)  cov(X2, X2)  ...  cov(X2, Xn)]    [  ...        ...        ...   ...  ]    [cov(Xn, X1)  cov(Xn, X2)  ...  cov(Xn, Xn)]

其中,cov(Xi, Xj)表示随机变量Xi和Xj的协方差。协方差矩阵是一个对称矩阵,即cov(Xi, Xj) = cov(Xj, Xi)。

云深之无迹
纵是相见,亦如不见,潇湘泪雨,执念何苦。
 最新文章