参考了各路神仙的资料，包含自己的理解。 有任何的书写错误、排版错误、概念错误等，希望大家包含指正。 由于字数限制，分成三篇博客。 【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述 【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法 【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法
2. 牛顿法整体上来说，牛顿法是用二阶泰勒展开公式近似目标（损失）函数的局部，计算二阶展开式的极值点作为新的迭代点，在新的迭代点继续泰勒展开，重复该过程直至收敛。
2.1. 一元函数中的牛顿法根据一元函数的泰勒展开公式，将函数在 x 0 x_0
