袁亚湘研究员学术报告之瞎子爬山与最优化方法.pptVIP

从瞎子爬山到  最优化方法 中科院数学与系统科学研究院 袁亚湘 yyx@ /~yyx 爬山与优化 爬山 　－－－　　海拔“最”高 最优化 －－－ 求“最”好的 Operations Research -- Science of Better 瞎子与计算机 瞎子 　－－－　知道脚底下情况， 但看不见周围的东西 计算机 －－－ 给一个点x，可计算： f(x), ?f(x), … … 但对于x 附近的其他y, 不知道 f(y) 瞎子爬山 vs 优化方法 瞎子和计算机谁快? 瞎子和计算机谁聪明? 瞎子会如何“看” “瞎子爬山法”呢? 最速下降法 αk 使 f(x＋αd ) 达到最小 （精确搜索） 华罗庚： 瞎子爬山法 华罗庚（1910－1985） 最好 + 最好 = 最好 ??? 方向 (最速下降) （best dk) 步长 (精确搜索) (best αk ) xk+1 = xk + αk dk 是否最好 ???? 最速下降法应用于 f(x,y)=100x2+ y2 Barzilai Borwein Method 方向 (最速下降 － 最好方向) 步长 (上一次的精确搜索步长) 最好的d + 上一步最好的α ? 最好 BB 方法 应用于 f(x,y)=100x2+ y2 信赖域方法 非线性最小二乘问题 最小二乘问题 超定方程组求解 数值模拟，曲线拟合 反问题 高斯－牛顿法 xk+1 = xk + dk , 如何求 dk ？ A(x) 是 F(x) 的 JACOBI 阵 J. C. F. Gauss (1777-1855) I. Newton (1642-1727) L-M步的最优性 设 dk 是 Levenberg-Marquardt 步: 则它也是如下问题的解 信赖域方法 信赖域方法基本思想 1) 局部区域 2) 逼近模型 3) 调节模型和区域 孙悟空的信赖域 相似 （近似） － － 计算的技巧 －－ 复杂问题简单化 牛顿法 牛顿法： 牛顿法的特点： 1) 优点：速度快（二次收敛） 2) 缺点: 计算二阶导数 拟牛顿法 牛顿: 拟牛顿: 如何选取 B？ 如何“拟”牛顿？ 拟牛顿方程： Davidon(1959), Fletcher and Powell (1963): Fletcher Powell 依葫芦画瓢 – 都行吗？（∞的故事） limx?0+ 5 / x = 5 线性规划:单纯形法 Linear Programming (LP) Problem: min cT x A x = b x ≥ 0 单纯形方法 线性规划的另两个奠基者 Leonid Kantorovich John von Neumann (1912-1986) (1903-1957) 小人物 ?? 大人物 Hotelling(1885-1973) ： “But we