机器学习之多元线性回归

欢迎点击「算法与编程之美」↑关注我们！

本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。

1 多元线性回归概念

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。社会经济现象的变化往往受到多个因素的影响，例如，家庭消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有的财富、物价水平、金融机构存款利息等多种因素的影响。因此，一般要进行多元回归分析，我们把包括两个或两个以上自变量的回归称为多元线性回归。一元线性回归是一个主要影响因素作为自变量来解释因变量的变化。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

多元线性回归与一元线性回归类似，可以用最小二乘法估计模型参数，也需对模型及模型参数进行统计检验。

选择合适的自变量是正确进行多元回归预测的前提之一，多元回归模型自变量的选择可以利用变量之间的相关矩阵来解决。

2 多元线性回归服从正态分布

多元线性回归要求服从高斯分布也就是正态分布。

正态分布函数：

3 多元线性回归模型

多元线性回归模型为：

  其中，b0为常数项，b1,b2…bk为回归系数，b1为X1,X2…Xk固定时，x1每增加一个单位对y的效应，即x1对y的偏回归系数；同理b2为X1,X2…Xk固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为：

  用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为：

  解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得：

  即：

  最大似然估计和最小二乘法：

  又比如两个变量：

  使用最大似然估计解释最小二：

  高斯的对数似然与最小二乘：

4 多元回归模型的检测与评价

  多元性回归模型与一元线性回归模型一样，在得到参数的最小二乘法的估计值之后，也需要进行必要的检验与评价，以决定模型是否可以应用。需要以下几个步骤：

1）拟合程度的测定

  与一元线性回归中可决系数R2相对应，多元线性回归中也有多重可决系数R2，它是在因变量的总变化中，由回归方程解释的变动(回归平方和)所占的比重，R2越大，回归方各对样本数据点拟合的程度越强，所有自变量与因变量的关系越密切。

计算公式为：

2）估计标准误差

  估计标准误差，即因变量y的实际值与回归方程求出的估计值 之间的标准误差，估计标准误差越小，回归方程拟合程度越好。

  其中，k为多元线性回归方程中的自变量的个数。

3）回归方程的显著性检验

  回归方程的显著性检验，即检验整个回归方程的显著性，或者说评价所有自变量与因变量的线性关系是否密切。

能常采用F检验，F统计量的计算公式为：

  根据给定的显著水平a,自由度(k,n-k-1)查F分布表，得到相应的临界值Fa，若F > Fa，则回归方程具有显著意义，回归效果显著：F