线代_超定线性方程组最小二乘解推导

目录

1. 超定线性方程组

2. 超定线性方程组的解

3. 最小二乘法公式推导

4. 结论熟记

参考

1. 超定线性方程组

超定方程组，是指方程个数大于未知量个数的方程组。对于方程组

 

A为m×n的矩阵，如果A列满秩，且m > n，则方程组没有精确解，此时称方程组为超定方程组。即任意x1 , x2 , … , xn 都不可能使 

2. 超定线性方程组的解

例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。 也就是说给定的条件(限制)过于严格， 导致解不存在。在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是最小二乘法，形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解。

曲线拟合，是最小二乘法要解决的问题，实际上就是求以上超定方程组的最小二乘解的问题。

3. 最小二乘法公式推导

4. 结论熟记

对于超定线性方程组 Ax=b 的解为

参考

https://blog.csdn.net/weixin_46581517/article/details/105456999