普通最小二乘法（Ordinary Least Squares，OLS）是统计学中用于估计线性回归模型参数的一种经典方法。其目标是通过最小化观测数据与模型预测值之间的差距来估计模型的参数。
1. 线性回归模型的形式
𝑦 = 𝑋𝛽+𝜖
2. OLS 目标：最小化残差平方和
OLS的核心思想是选择参数𝛽，使得观测值𝑦和预测值𝑋𝛽之间的差异最小化。这个差异通常通过残差平方和来衡量：
或者用矩阵形式表示：
3. 最小二乘估计
为了找到使残差平方和最小的参数𝛽，我们对残差平方和函数RSS(𝛽)对𝛽求导并令导数为零。通过简单的微分计算，可以得到最小二乘估计的闭式解：
但是为了回答：为什么普通最小二乘被认为是无偏估计？我们先来了解点统计学的知识。
统计建模的目标是对总体做出结论；但很显然，想要获取总体是不现实的。
换句话说，如果观察不到总体，就没办法计算总体的真实参数（β）。
因此，我们必须通过计算样本的参数估计值，然后通过这些估计值推断出总体的真实参数值（β）。
