北大《最优化》11_牛顿类算法.pdf

牛牛牛顿顿顿类类类算算算法法法 文文文再再再文文文 北北北京京京大大大学学学北北北京京京国国国际际际数数数学学学研研研 究究究中中中心心心 教教教材材材 《《《最最最优优优化化化:建建建模模模 、、、算算算法法法与与与理理理论论论》》》 配配配套套套 电电电子子子教教教案案案 /~wenzw/optbook.html 致致致谢谢谢:本本本教教教案案案由由由陈陈陈乐乐乐恒恒恒 、、、丁丁丁思思思哲哲哲协协协助助助准准准备备备 梯度法的困难 考虑无约束优化 问题 f x x n 使用梯度下降法, 给 出的迭代格式是 k1 k k x x f x k 2 由于梯度下降的基本 策略是沿一阶最速下降方向迭代 。当 f x 的条 件数较大时, 它的收敛速度比较缓慢(只用到一阶信息). 如果f x 足够光滑, 我们可以利用f x 的二阶信息改进下降方向, 以加速 算法的迭代. 2/46 提纲 1 经典牛顿法 2 收敛性分析 3 修正牛顿法 4 非精确牛顿法 5 自适应的正则化牛顿算法 6 应用举例: 逻辑回归模型 3/46 经典牛顿法 对于可微二次函数f x , 对于第k 步迭代,我们现在考虑 目标 函数f 在 点 xk 的二阶Taylor近似 T 1 T k k k k k k 2 k k k 2 f x d f x f x d d f x d o d 2 k 2 k 忽略 高阶项o d , 并将等式右边视作 d 的函数并极 小化, 得 2 k k k f x d f x (1) 方程(1)被称为牛牛牛顿顿顿方方方程程程, dk 被称为牛牛牛顿顿顿方方方向向向. 2 k 若 f x 非奇异, 则可得到迭代格式 k1 k 2 k 1 k x x f x f x (2