【Math】常见的几种最优化方法.pdfVIP

2020/2/17 【Math】常见的几种最优化方法 【Math】常见的几种最优化方法 Poll 机器学习算法那些事 2018-12-20 作者 ：Poll 链接 ： htt ps /// may be2030/ p/4751804.ht ml 编辑 ：石头 目录 1. 梯度下降法 2. 牛顿法和拟牛顿法 3. 共轭梯度法 4. 启发式优化方法 5. 解决约束优化 问题——拉格朗 日乘数法 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要 考虑的一个问题 “在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在 给定约束之下如何寻求某些因素 (的量)，以使某一 (或某些)指标达到最优的一些学科的总称。随着学 习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最 优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化 模型，通过最优化方法对 目标函数 （或损失函数）进行优化，从而训练出最好的模型。常见的最优化 方法有梯度下降