5深度学习-第五章 优化算法.pptx

第五章优化算法

第一节凸与非凸优化

深度学习中的优化优化算法解决的问题：训练神经网络，减小训练误差最小化损失函数/目标函数/代价函数/误差函数在深度学习中，大多数损失函数都很复杂，没有解析解。因此，我们必须使用数值优化算法优化算法对于深度学习非常重要训练复杂的深度学习模型可能需要数小时、数天、数周甚至数月优化算法的性能直接影响模型的训练效率了解不同优化算法的原理及其超参数的作用将使我们能够有针对性地调参，提高深度学习模型的性能优化算法的大部分研究都不涉及泛化区分训练误差和泛化误差深度学习/机器学习的最终目标是减小泛化误差

如果对于任何，连接和的线段也位于中，则集合是凸的在数学术语上，对于所有，是凸集当且仅当给定一个凸集，对于所有和所有，函数是凸的，当且仅当直观判断：凸函数上任意两点的连线都在这两点之间的函数曲线的上方5.1凸与非凸优化非凸集凸集凸集第一和第三个函数是凸函数，第二个不是凸函数

5.1凸与非凸优化深度学习中出现的几乎所有优化问题都是非凸的凸函数非凸函数非凸函数

5.1.1局部极小值对于任何目标函数，如果在处对应的值小于在附近任意其他点的函数值，那么是局部极小值，是局部极小值点如果在处的值是整个定义域中目标函数的最小值，那么是全局最小值局部极小值点处的梯度为0：当优化算法迭代点接近局部极小值点时，随着目标函数的梯度接近于零，算法可能仅得到局部最优解局部极大值：在处对应的值大于在附近任意其他点的函数值；局部极大值点处的梯度也为0

5.1.2鞍点鞍点是指函数的梯度为零，但既不是局部极大值点也不是局部极小值点的点示例1：考虑函数，为鞍点示例2：，是鞍点，这既是关于的极大值点，也是关于的极小值点，像马鞍高维空间的鞍点，可以是某个横截面的局部极大值点，却是另一横截面的局部极小值点

5.1.3判断鞍点、局部极小、局部极大梯度为0的点统称为临界点或驻点，临界点可以是局部极小值点，可以是局部极大值点，也可以是鞍点使用Hessian矩阵的特征值判断局部极小值点、局部极大值点、鞍点考虑临界点当函数在临界点处的Hessian矩阵的特征值全部为正值时，该临界点为局部极小值点若对所有，有，那么，即是局部极小值点当函数在临界点处的Hessian矩阵的特征值全部为负值时，该临界点为局部极大值点若对所有，有，那么，即是局部极大值点当函数在临界点处的Hessian矩阵的特征值同时存在正值和负值时，该临界点为鞍点若对某些，有，对某些，有，那么是鞍点

5.1.4鞍点出现的概率对于高维问题，特征值有正有负的可能性远大于特征值都为正或都为负的概率，所以鞍点比局部极小值点更有可能出现随机扔d次硬币，d次结果都为正面（局部极小值点）或都为反面（局部极大值点）的概率随着d增大而降低低维空间中的局部极小值点，在高维空间中，可能是鞍点逃离鞍点添加随机扰动可以逃离鞍点在图中的鞍点处放置一个小球，稍微碰一下小球（可以理解为添加了随机扰动），小球可能就滚下去在深度网络训练中使用随机优化算法的原因之一凸函数的Hessian矩阵的特征值始终为非负；凸函数没有鞍点回顾：对于凸函数，

5.1.5局部极小值点出现的概率经验结果表明，卡在局部极小值点的情况是很罕见的，大部分临界点都是鞍点该图示引用自李宏毅教授课件Ratio=1时为局部极小值点Ratio=0时为局部极大值点Ratio在0、1之间时为鞍点几乎所有训练误差接近于0的点都是鞍点，没有碰到局部极小值点

5.1.6深度学习非凸优化的挑战鞍点（saddlepoint）对于很多高维非凸函数，局部极小值点（以及极大值点）的数量远少于鞍点的数量大部分随机优化算法（例如SGD）都可以逃离鞍点，但在鞍点附件移动缓慢局部极小值点（localminima）当前深度学习领域的研究者倾向于认为训练深度网络时，局部极小值