简单回归 vs 多元回归
多元回归的基本原理:高维空间与附加维度
当有两个自变量(体重和尾巴长度)时,模型是一个二维平面。 如果再加入第三个变量(比如食物摄入量),模型就变成三维空间的拟合。
这并不复杂,实际操作上只是引入更多的数据变量,让模型能够更加灵活和精确。
R平方(R²)的计算与调整
SS Residual:模型预测值与实际值之间的平方和。 SS Total:实际值与均值之间的平方和。
在多元回归中,为了补偿增加的变量数量,使用“调整后的R平方”。调整后的R平方考虑了自变量的个数,避免因引入过多变量导致R平方值虚高的问题。
p值和F值的计算方法
P_fit(拟合参数数量):等于模型中所有估计参数的数量。 简单回归:P_fit = 2(截距 + 自变量) 多元回归:P_fit = 3(截距 + 2个自变量) P_mean(均值参数数量):在简单和多元回归中均为1,因为都只有一个因变量的均值。
在多元回归中,如果增加自变量导致F值较大、p值较小,说明增加该自变量的效果显著。
多元回归的具体示例
6. 简单回归与多元回归的比较
多元回归的R平方和调整后R平方均比简单回归高,表明增加尾巴长度这个变量提升了模型的拟合效果。 F值增加,且p值降低,表示加入尾巴长度这一变量后,模型的预测效果显著提高。
应用建议
多元回归可以通过引入多个自变量来提高模型的解释力,但需要合理选择变量,避免“过拟合”。在增加变量后,通过R平方、F值和p值的变化,可以判断这些变量是否值得加入模型。