理解梯度下降法.PDFVIP

本文由SIGAI人工智能平台原创，未经允许，不得转载 理解梯度下降法 导言 最优化问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解最优化 问题。在各种最优化算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广 为使用。在本文中，SIGAI 将为大家系统的讲述梯度下降法的原理和实现细节问题。 最优化问题 最优化问题是求解函数极值的问题，包括极大值和极小值。相信所有的读者对这个问题都不陌 生，在初中时我们就学会了求解二次函数的极值（抛物线的顶点），高中时学习了幂函数，指 数函数，对数函数，三角函数，反三角函数等各种类型的函数，求函数极值的题更是频频出现。 这些方法都采用了各种各样的技巧，没有一个统一的方案。 真正的飞跃发生在大学时，微积分为我们求函数的极值提供了一个统一的思路：找函数的导数 等于 0 的点，因为在极值点处，导数必定为 0。这样，只要函数的可导的，我们就可 本文由SIGAI人工智能平台原创，未经允许，不得转载