CAN-File-----无约束优化基础.ppt

非精确线搜索－充分减少和回溯 确定非精确线搜索步长的实用方法之一 Procedure 4.1 Backtracking-Armijo Linesearch 牛顿法和拟牛顿法中： 最速下降法或共轭梯度法中可取不同初始步长值！ 参数的典型值： 非精确线搜索－充分减少和回溯(续) 推论 在上述定理条件下, 回溯Armijo线搜索确定的步长 定理. 对于由回溯Armijo线搜索确定步长的线搜索法而言，则或者对某 k 有 g(k)=0，或者 ，或者 定理 设g(x)是Lipschitz连续的(常数是L). 此外，p(k)是x(k)处 的下降方向。则区间 内的值均满足Armijo条件，其中 算法概述－线搜索法与信赖域法(续) 给定初始估计x(0)，设x(k)处有g(k) ≠0，则第 k 次迭代： 信赖域： 信赖域子问题： 利用x(k)和△k构造子问题 解信赖域子问题，得s(k). 计算 数学与系统科学学院 第05章 无约束优化：基础 实用优化方法 数学基础 直线、射线(顶点和方向)： 给定 直线： 射线： 线段： 多元函数(等直线、梯度、海森矩阵) Rosenbrock“香蕉”函数 多元函数沿直线的斜率和曲率 f 沿直线 的一阶导数和二阶导数 斜率(slope) 曲率(curvature) Rosenbrock“香蕉”函数 线性函数和二次函数 G是对称矩阵 b是常向量 c是常数 其中 记 割线方程！ Taylor展式 Peano型余项： Lagrange型余项： 积分型余项： f(x)的Taylor展式: 的Taylor展式: 第05章：无约束优化：基础Fundamentals of Unconstrained Optimization 无约束优化 在设计和分析算法时，通常假设 f(x) 是连续可微(二阶连续可微)的，且导数是李普希兹连续的！ 局部极小点的条件 算法概述 非精确线搜索 局部极小点的条件 局部极小点、全局极小点；非光滑的极小点 极小点的类型 局部极小点的必要条件 设 x* 是 f(x) 的局部极小点。令 考查 则在 有零斜率和非负曲率！ 故必要条件即对所有 p，有 (一阶条件)，G*半正定(二阶条件) 等价地 稳定点/驻点(stationary point)：使得 g(x*)=0 的 x* 局部极小点的充分条件 例.考虑Rosenbrock函数 在x*=(1, 1)处 严格局部极小点－全局极小点 充分非必要： 定理. x*是严格局部极小点的充分条件是 ，G*正定. 局部极小点的充分条件(续) 如何判断矩阵的正定性： G*的所有特征值大于零； G*的所有顺序主子式大于零； G*的Cholesky分解LLT存在，其中L是下三角矩阵；且 lii0 G*的LDLT分解存在，其中L是单位下三角矩阵；D是对角矩阵，且 di 0; 稳定点的类型 凸函数的定义 定义 命题. 若 fi(x), i=1,…,m是凸集 K 上的凸函数，则它们的非负线性组合仍然是K上的凸函数. 相关定义：严格凸函数、凹函数/严格凹函数 可微凸函数的判别 定理. 设 f 是凸集 K 上的可微实值函数，f 凸当且仅当对所有的 ，有 定理. 设 f 是开凸集 K 上的二次连续可微实值函数，则 f 凸当且仅当对 K 中的每个x 而言， 是半正定的. 典型的凸函数 G 是对称矩阵, b 是常向量, c 是常数 既凸又凹！ 凸当且仅当G半正定 任一范数！ 局部极小的条件－充分条件(续) 定理.可微凸函数的稳定点是全局极小点 二次函数的性质 ◎ G半正定 非奇异：即G正定，有惟一的全局解； 奇 异：b在G的值域中－有多个全局解； b不在G的值域中－函数值可任意大，也可任意小； ◎ G不定－－函数值可任意大，也可任意小； 非奇异：有惟一的稳定点；是鞍点； 奇 异：b在G的值域中－有多个鞍点； b不在G的值域中－没有鞍点. 算法概述 算法概述－收敛性与收敛速率 实用算法应具备的典型特征： 稳定地接近局部极小点x*，然后迅速地收敛于x* 全局收敛性结论 ⊙ {x(k)}的聚点是局部极小点或者 g(k)趋于零 ⊙ 除个别情况外，每次迭代后目标值减小 a 0－线性收敛、a = 0－超线性收敛 局部收敛性结论 收敛 二次收敛、二阶收敛 开发优化方法还有赖于实验! 求解各种有代表性的测试函数！ 算法概述－二次模型 其中 B(k) 是 G(k) 的估计；