项目学习笔记4 岭回归(有偏估计)

我们常用的线性回归采用最小二乘法，但是存在一个问题。当自变量间存在复共线性时，回归系数估计的方差会很大，估计值不稳定。   复共线性: 自变量数量很多且相互关联紧密，y = 10+2x1+3x2 设置参数k，X’X + kI，当k=0，是最小二乘法的线性回归. k取太小，不稳定；取太大，会β(k)趋向0，也不行。k越大，误差越大。 MSE: 表示估计向量的均方误差，衡量测量值和真实值之间的关系。 方差: 测量值和测量平均值的关系，反映波动。 参数k的选择 （一） 岭迹法 (每个自变量与因变量的曲线随着k的取值变化较为稳定，基本收敛于同一个y值时效果较好) （1） 各回归系数的岭估计基本稳定 （2） 用 最小二乘法估计符号不合理的，岭估计的符号要合理 （3）回归系数符合实际意义 （4） 残差平方和增大不多