数值计算之 最小二乘法（1）最小二乘计算与线性方程

前言

本篇开启一个非常重要的内容，最小二乘法。它在方程组求解、多视图几何计算、线性优化等方面具有广泛的应用。

本节是最小二乘法的第一部分，将最小二乘与线性代数关联。

最小二乘法与线性方程组

最小二乘法的起源

在数值计算拟合法中已经提到过，最小二乘法最早用于数据拟合： arg min ⁡ f ( x ) ∑ i = 0 n ( f ( x i ) − y i ) 2 \argmin_{f(x)} \sum_{i=0}^n (f(x_i)-y_i)^2 f(x)argmin​i=0∑n​(f(xi​)−yi​)2

非齐次线性方程组

现在考虑下面这个线性方程组： { x 1 + x 2 = 0 x 1 + 2 x 2 = 2 2 x 1 + 3 x 2 = 3 \begin{cases} x_1+x_2=0 \\ x_1+2x_2=2 \\ 2x_1+3x_2=3 \\ \end{cases} ⎩⎪⎨⎪⎧​x1​+x2​=0x1​+2x2​=22x1​+3x2​=3​ 由非齐次线性方程组的秩与解的关系，上面的线性方程组的稀疏矩阵和增广矩阵有 r a n k ( A ) < r a n k ( A , b ) rank(A)