CAN-File-15-04-16-07-emp_uco_fundemeantal_2015_spring.ppt

第 4 章 无约束优化：基础 LHY-SMSS-BUAA 数学规划基础 数学基础 局部极小点的条件 算法概述 非精确线搜索 第四章 无约束优化：基础 多元函数(等高线/等值线、梯度、Hessian阵) Rosenbrock的山谷/香蕉函数(1961) , , 数学基础 直线、射线 (顶点和方向) 线段： 直线： 射线： 多元函数沿直线的斜率和曲率 Rosenbrock“香蕉”函数： 斜率(slope) 曲率(curvature) 割线方程！ 线性函数和二次函数 记 ，则二次函数满足 其中 满足 (有稳定点的)二次函数可表示为 其中G 是对称矩阵； b 是常向量；c 是常数 一元函数与多元函数的Taylor展式 Peano型余项 Lagrange型余项 一阶Taylor展式： 其中 其中 令 ，得多元函数的一阶Taylor展式 二阶Taylor展式： 其中 其中 令 ，得多元函数的二阶Taylor展式 向量值函数的一阶Taylor展式(习题1.6) －－写出每个分量函数的一阶Taylor展式，然后用向量来表示即可. 局部极小点、全局极小点；非光滑的极小点 极小点的类型 光滑函数的局部极小点的刻画 (若函数可微，能利用Taylor展式！) 凸(碗状)函数的局部极小点也是全局极小点 无约束优化：基础Fundamentals of Unconstrained Optimization 无约束优化 在设计和分析算法时，通常假设 是连续可微(二阶连续可微)的，且导数是李普希兹连续的！ 常用记号： 稳定点/驻点(stationary point)：使得 g(x *) = 0 的 . 局部极小点的必要条件 设 是 的局部极小点。令 它在 有零斜率和非负曲率！ 考查 故必要条件即对所有 p，有 (一阶条件)， 半正定(二阶条件) 等价地 局部极小点的充分条件 严格局部极小点－全局极小点 充分非必要! 定理 是严格局部极小点的充分条件是 ， 正定. 例 考虑Rosenbrock函数 在 处 f (x) = x 2, 局部极小点的充分条件(续) 如何判断矩阵的正定性： 的所有特征值大于零； 的所有顺序主子式大于零； 的Cholesky分解 LLT 存在，其中 L 是下三角矩阵，且 lii 0 ； 的LDLT分解存在，其中L是单位下三角矩阵；D是对角矩阵，且 di 0; 稳定点的类型 凸函数的定义 命题 若 fi(x), i = 1, …, m ,是凸集 C 上的凸函数，则它们的非负线性组合仍然是 C 上的凸函数. 相关定义：严格凸函数、 凹函数/严格凹函数 Jensen不等式：见习题4.6 定理 凸函数在凸集上的局部极小点是全局极小点.***** 以下设 是定义在凸集 上的连续函数 定义 对任意 应有 其中 (应用：概率论中的Jensen不等式) 可微凸函数的判别 推论 可微凸函数的稳定点是全局极小点 定理 设 f 是凸集 C 上的可微实值函数，f 凸当且仅当对所有的 ，有 定理 设 f 是开凸集 C 上的二次连续可微实值函数，则 f 凸当且仅当对 C 中的每个 x 而言， 是半正定的. 典型的凸函数 既凸又凹！ q(x) 凸当且仅当 G 半正定 任一范数！ 其中G 是对称矩阵；b 是常向量；c 是常数 算法概述－收敛与收敛速度 实用算法应具备的典型特征： 稳定地接近局部极小点 x*，然后迅速地收敛于x* ⊙ {x(k)}的聚点是局部极小点或者 g(k) 趋于零 ⊙ 除个别情况外，每次迭代后目标值减小 开发优化方法还有赖于实验! 求解各种有代表性的测试函数！ a 0－线性收敛、a = 0－超线性收敛 收敛速度 二次收敛/二阶收敛 收敛性 收敛 ， ， 算法概述－实用的终止准则 ● 理想的终止准则：－－不现实！ ● 实用准则： 适用于牛顿法和拟牛顿法 通常需要联合使用好几种终止准则！ 或 适合于共轭梯度法、最速下降法 其中 H(k) 是 G(k) 的逆或者近似. (b) 一般函数在局部极小点 x*附近可用二次函数近似； 即使远离极小点，应用二次信息