【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法

参考了各路神仙的资料，包含自己的理解。
有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成三篇博客。
【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述
【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法
【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法

2.4. 拟牛顿法

牛顿法在每次迭代时需要计算出黑塞矩阵 $H$