数值计算之 最小二乘法（2）最小二乘的几何意义

前言

上篇中，超定线性方程组 A x = b Ax=b Ax=b的最小二乘解满足 A T A x = A T b A^TAx=A^Tb ATAx=ATb，当 A A A是列满秩矩阵时， x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb。

线性最小二乘解的存在性

首先要确定的是：对于任何超定的线性方程组 A x = b Ax=b Ax=b，都是有最小二乘解的。

证明： A T A x = A T b r a n k ( A T A , A T b ) = r a n k ( A T ( A , b ) ) ≤ r a n k ( A T ) r a n k ( A T A , A T b ) ≥ r a n k ( A T A ) = r a n k ( A T ) ∴ r a n k ( A T A , A T b ) = r a n k ( A T A ) A^TAx=A^Tb \\ rank(A^TA,A^Tb)=rank(A^T(A,b))\le rank(A^T) \\ rank(A^TA,A^Tb)\ge rank(A^TA)=rank(A^T) \\ \therefore rank(A^TA,A^Tb)=rank(A^TA) ATAx=ATbrank(ATA,ATb)=rank(AT(A,b))≤rank(AT)rank(ATA,ATb)≥rank(ATA)=rank(AT)∴rank(ATA,ATb)=rank(ATA) 根据线性方程组的解与秩的关系得证。

最小二乘解的几何意义

回到上一篇提到的的超定方程组 A x = b Ax=b Ax=b： { x 1 + x 2 = 0 x 1 + 2 x 2 = 2 2 x 1 + 3 x 2 = 3 \begin{cases} x_1+x_2=0 \\ x_1+2x_2=2 \\ 2x_1+3x_2=3 \\ \end{cases} ⎩⎪⎨⎪⎧​x1​+x2​=0x1​+2x2​=22x1​+3x2​=3​ 由于 2 = r ( A ) < r ( A , b ) = 3 2=r(A)