北大《最优化》8_梯度下降算法.pdf

梯梯梯度度度下下下降降降算算算法法法 文文文再再再文文文 北北北京京京大大大学学学北北北京京京国国国际际际数数数学学学研研研 究究究中中中心心心 教教教材材材 《《《最最最优优优化化化 ：：：建建建模模模 、、、算算算法法法与与与理理理论论论》》》 配配配套套套 电电电子子子教教教案案案 /~wenzw/optbook.html 致致致谢谢谢 ：：：本本本教教教案案案由由由谢谢谢 中中中林林林协协协助助助准准准备备备 提纲 1 线搜 索准则 2 线搜 索算法 3 收敛性分析 4 梯度下降法 5 Barzilar-Borwein 方法 6 应用举例 2/60 引言:无约束优化算法 f x x n 线搜 索 1 先确定搜 索方向:梯度类算法 、次梯度算法 、牛顿算法 、拟牛顿算 法等. 2 按准则进行近似搜 索. 信赖域 1 主要针对f x 二阶可微的情形, 在一个给定的区域 内使用二阶模型 近似原 问题. 2 不断直接求解该二阶模型从 而找到最优值 点. 3/60 线搜 索算法:盲人下 山 求解f x 的最小值 点如 同盲人下 山, 无法一眼望知谷底, 而是: 1 首先确定下一步该 向哪一方向行走. 2 再确定沿着该方向行走多远后停下以便选取下一个下山方向. 线搜 索类算法的数学表述: k1 k k x x d k 我们称dk 为迭代点xk 处的搜搜搜 索索索方方方向向向, k 为相应的步步步长长长.这里要求dk k T k 是一个下下下降降降方方方向向向, 即d f x 0. 线搜 索类算法的关键是如何选取一个好的方向dk n 以及合适的 步长 . k 4/60 k 的选取:精确线搜 索算法 选取dk 的方法千差万别, 但选取k 的方法却非常相似. 首先构 一元辅助函数 k k f x d 其中dk 是给定的下降方向, 0 是该辅助函数的 自变量. 线搜 索的目标是选取合适的 使得 尽可能减小. 这要求: k k 1 k 应该使得f 充分下降 2 不应在寻找k 上花费过多的计算量 一个 自然的想法是寻找k 使得 k