由于最近面临研究生复试，而有些导师最喜欢问最小二乘法的相关知识，因此，特地仔细研究了一下最小二乘法。 （研究的不深，仅供参考）
1.什么是最小二乘法？很多人都会被“最小二乘法”这个词误导了，不知所云。我觉得从它的英文意思更容易理解。最小二乘法的英文是：least square method，英文直译是平方最小。也就是说，使实际输出与预测输出的平方之和最小。同时最小二乘法也是损失函数（loss function）之一。 什么是损失函数（loss function）？ 要理解损失函数，首先需要理解损失（loss）。预测值与真实值之差为损失（loss）。描述损失的函数称为损失函数。损失函数常用于衡量模型的好坏。而平方损失函数也就是最小二乘法。
2.最小二乘法与梯度下降的区别和联系？相同点：最小二乘法和梯度下降都是通过求导来求损失函数的最小值。 不同点：最小二乘法是对△直接求导令成0来求出全局最小，非迭代法。而梯度下降是一种迭代法，先给定一个数值，然后环顾四周，向下降梯度最快的方向调整，在若干次迭代后找到局部最小（相当于贪心算法）。 梯度下降法的缺点是：到最小的附近收敛变慢，并且对初始点的选择极为敏感。 最小二乘法的缺点是：不适用于特征向量过多的情况。
