数值计算之 拟合法，线性拟合，多项式拟合

前言

拟合法是另一种由采样数据求取潜在函数的方法。插值要求函数必须经过每一个采样节点，而拟合则要求函数与全部节点之间的距离较小。

线性拟合和多项式拟合是常用的拟合方法。

最小二乘法

既然拟合要求函数全局与采样节点相近，那么需要一个函数与节点之间距离的度量，自然而然的想到函数上的点与节点之间的欧氏距离。假设其中一个节点为 ( x 0 , y 0 ) (x_0,y_0) (x0​,y0​)，拟合函数为 h ( x ) h(x) h(x)，则节点与拟合函数的距离为： d ( x ) = ( h ( x 0 ) − y 0 ) 2 = ∣ h ( x 0 ) − y 0 ∣ d 2 ( x ) = ( h ( x 0 ) − y 0 ) 2 d(x)=\sqrt{(h(x_0)-y_0)^2}=|h(x_0)-y_0| \\ \quad \\ d^2(x) = (h(x_0)-y_0)^2 d(x)=(h(x0​)−y0​)2 ​=∣h(x0​)−y0​∣d2(x)=(h(x0​)−y0​)2 由于带绝对值的公式在求导时很麻烦，因此采用距离的平方简化计算。

多项式拟合

假如使用n次多项式 h ( x ) = a 0 + a 1 x + ⋯ + a n x n h(x)=a_0+a_1x+\dots+a_nx^n h(x)=a0​+a1​x+⋯+an​xn进行最小二乘拟合，则对于节点 ( x 0 , y 0 ) , ( x 1 , y 1 ) , … , ( x n , y n ) (x_0,y_0),(x_1,y_1),\dots,(x_n,y_n) (x0​,y0​),(x1​,y1​),…,(xn​,yn​)的最小二乘拟合可表示为： arg min ⁡ a 0 , a 1 , … , a n ∑ i = 0 n ( h ( x i ) − y i ) 2 = arg min ⁡ a 0 , a 1 , … , a n ∑ i = 0 n ( a 0 + a 1 x i + ⋯ + a n x i n − y i ) 2 \argmin_{a_0,a_1,\dots,a_n} \sum_{i=0}^n (h(x_i)-y_i)^2 \\ \quad \\ = \argmin_{a_0,a_1,\dots,a_n} \sum_{i=0}^n (a_0+a_1x_i+\dots+a_nx_i^n-y_i)^2 \\ a0​,a1​,…,an​argmin​i=0∑n​(h(xi​)−yi​)2=a0​,a1​,…,an​argmin​i=0∑n​(a0​+a1​xi​+⋯+an​xin​−yi​)2 从代数的角度上，上面的方程求解是通过求最小二乘对 a 0 , a 1 , … , a n a_0,a_1,\dots,a_n a0​,a1​,…,an​的偏导，令偏导数为0后的方程组求解。代数求解法比较复杂，因此最小二乘问题常常转换为矩阵问题求解。 多项式拟合的一大特点是，待拟合的节点数可以显著大于多项式的次数，例如可以采用二次多项式拟合五个节点。

当用于拟合的多项式次数较高时，拟合结果容易受到噪声点影响。

线性拟合

如果用于拟合的函数是一条直线 h ( x ) = a x + b h(x)=ax+b h(x)=ax+b，就是线性拟合。线性拟合是多项式拟合的特例。

后记

拟合相对插值而言方法比较单一，但涉及到最小二乘，和回归问题等在机器学习中极为重要的方法。后续会新开一个最小二乘法和梯度下降法的专题学习。