统计学上在评估估计量（Estimator）时，有多个标准，例如我们希望我们的统计量是无偏的（Unbiased），一致的（Consistent）以及最有效的（Most efficient）。这些概念很多都是只有统计学科班，或者偏重统计的经济学课程体系中才会学到的概念，但是它们却时刻出现于各个具体学科的文献当中，也导致很多统计学背景不扎实的读者对这些词有一些误解和疑惑。
今天这篇文章，我们就从外行人的角度来讲一下什么是无偏性，一致性和有效性。
1 什么是估计？
在讲这三个概念前，我们需要首先说明什么是统计学中的估计（Estimation）。
我们知道，统计学除了描述性统计，还有推断性统计。描述性统计局限于描述样本特征，和推断性统计渴望通过样本推断总体特性。举个最简单的例子，我们都学过如下这个方差公式：
很多统计教材上都会说，除以n-1，能够保证我们计算出来的方差是对总体方差的无偏估计。这里就涉及到了无偏和估计这两个概念，通过这个例子，我主要是想帮助大家理解什么叫作估计：估计是指基于样本获得某个数值，以其作为对总体参数估计值的过程。
而基于样本获得某个数值的方法，就有我们的操作空间了。假如我们现在拥有一个样本数据，想对样本对应总体的均数做估计，我们该如何进行呢？我给大家两种方案：
A：我们用样本量n作为对总体均数的估计量；
B：我们用样本均数作为对总体均数的估计量。
从直觉上，我们都知道B方案是个更加合理的方案，但是为什么呢？这时我们就需要借助无偏性的概念了！
2 无偏性
我们知道，当我们使用基于样本计算出来的数值作为总体参数的估计值时，这个估计往往不能够“一发入魂”。比如总体均数为5，我们的估计值往往不可能恰好为5——由于抽样误差的存在，这种期待是不合理的，我们甚至还很有可能获得与5差异很大的估计量。
但是，当我们把目光放长远，就可以合理地期待：当我们不停地进行无限次样本量相同的重复采样，基于每个样本，通过相同的方法计算相应估计量后，这些估计量的平均值会等于5/接近5。简短地讲，单次估计的误差是我们无法控制的，但是我们希望长远来看（in the long run），多次估计的误差会相互抵消，最终将我们指引向现实。
这就是所谓的无偏性（Unbiasedness），我们前面提到的总体方差的无偏估计公式中就涉及了无偏性。结合前述的定义，我们清楚地知道，无偏估计并不代表，基于某个样本，按照这个公式计算出的方差就等于对应的总体方差，而是假如我们无限次重复采样，我们基于这个公式计算出来的方差会近似等于总体方差。
相反，假如我们使用分母为n的公式计算方差来估计总体方差，那么无论我们采多少次样，所计算的估计值都会比实际的总体方差要小一些，这就是统计学上说的有偏的估计量（Biased estimator）。
同理，当我们对总体均数进行估计时，如果我们使用样本量进行估计，大家可以想象，假如总体均数为5，而我抽取的样本量每次都是n=30，那么以样本量作为估计量无疑会导致一个有偏的估计量。相反，样本均数是总体均数的无偏估计量，这一点的原因需要涉及到一些数学推导，所以我在这里就不展开阐述了！
3 一致性
人类总是贪婪的，在有了无偏性之后，我们还不满足，渴望估计量具有更多更好的性质。
我们可以有何种期待呢？前面提到，我们只能期待长远来看，估计量是无偏的。而对于每一次单次估计的偏差，我们不应该有零偏差的期待。
但是，我们是否可以期待说，当我们的样本量（也就是用于计算估计量的数据/信息量）不断增大时，单次估计偏差较大的情况会越来越少，重复采样下所有估计量都会随样本量增大，更密集地簇拥在总体参数周围？
这种期待就是所谓的一致性（Consistency），我们可以通过下图来描绘一致性：
我们可以看到，具有一致性的估计量，随着样本增大，会更密集地簇拥在总体参数周围。
值得注意的是，无偏性并不能给予这种保证，无偏性只能保证估计量在总体参数周围均匀波动，以致于长远来看，众多估计量的平均值将我们指向总体参数。而一致性控制的是估计量围绕总体参数的散布程度。
再换句话说，有了无偏性，我们就知道积累采样次数能够让我们无限地接近于事实；而有了一致性，我们就知道积累样本量能够让我们无限地接近于事实。
值得一提的是，一个估计量的无偏性和一致性并不存在直接确定的关系，我们完全可以找到一个无偏但是不一致的估计量，也可以找到一个一致但有偏的估计量。这是统计学中的一些极端例子，比较烧脑，有兴趣的读者可以在评论区留言，我后面可以分享出来。
4 有效性
我其实不知道Efficiency是不是翻译成“有效性”，姑且允许我使用这个翻译吧！
估计量的有效性往往是相对而言的，如前所述，当估计某一总体参数时，我们往往会遇到许多个“竞品估计量”，它们有的会在无偏性方面胜出，有的会在一致性方面胜出，而有的估计量也会比其他估计量更有效（more efficient）。
这里的更有效是指，这一估计量的方差相较其他估计量更小。我们知道方差是用来描述散布程度的量，而估计量的方差就代表了我们进行重复采样时，所得到的多个估计量的散布程度。所以简单来说，在相同样本量下，方差更小/分布更密集的估计量比方差更大/分布更散乱的估计量更有效。从这里也可以看出，估计量的有效性和估计量的方差其实说的是一回事！
5 Bias-variance tradeoff
Bias-variance tradeoff是机器学习中的一个重要概念，基于上述概念，我们可以更好地理解，这个tradeoff其实就是一种对估计量无偏性与有效性的权衡与取舍：有时候假如我们的估计量过于低效/方差过大，我们可以适度地容忍一部分偏差，来重现实现估计量的有效性！
至于为什么无偏性和有效性是互相拮抗的关系，我在这里就不展开叙述了，它并不是本篇文章的重点。
如上，就是对于估计量无偏性，一致性和有效性的全部阐释。如果以上内容对你有帮助，麻烦点一下右下角的赞和在看哦！
