【模式识别与人工智能】05-第一章-第五节-线性回归-优化算法3.pptxVIP

;;;引入：当得到了一个目标函数后，如何进行求解？

常规套路：在机器学习中就是交给机器一堆数据，告诉它什么样的学习方式是正确的（目标函数），然后让它朝着这个方向去做。

如何优化：一步步地完成迭代。;梯度下降法是一个一阶最优化算法；

中心思想：迭代的调整参数使成本（代价）函数最小；

原理：通过测量参数向量相关的误差函数的局部梯度，并不断沿着降低梯度的方向调整，直到梯度降为0，到达最小值。;对于只含有一个特征的线性回归，目标函数为;考虑稍微复杂点的情况，假设神经网络有两个参数和参数，其代价函数的关系如图所示：;批量梯度下降（BatchGradientDescent，BGD）;小批量梯度下降法是为了解决批量梯度下降法的训练速度较慢，以及随机梯度下降法的准确性较差综合而来的，是对上面两种方法的综合。

注意：不同问题的每批数据量是不一样的，要通过实验结果来进行参数的调整。;

多元线性回归的目标函数为：

偏导数为：

;第一次迭代：;中心思想：每次使用个样本进行更新：;这里我们假设?=10，样本数=1000，参数更新的伪代码如下：;选择带来的影响

在合理范围内增大好处：

提高内存利用率，大矩阵乘法的并行化