运筹学与最优化第二章下降算法与线搜索法.pptVIP

第二讲无约束优化问题的下降算法与线性搜索 最优性条件 下降算法的一般步骤 线性搜索 无约束问题解的最优性条件 局部最优解的必要性条件 一阶必要性条件 二阶必要性条件 存在一些点，满足一阶和二阶必要性条件， 但不是局部最优解 必要性证明 一阶必要性条件 ：利用一阶Taylor展式 对固定的 将d用-d替换，得到 由d的任意性，得到 无约束凸优化问题的最优性条件 证明 证明 下降方向 下降算法的一般步骤 最速下降法： Newton法： 步长 的选取 非精确线性搜索 非精确线性搜索 练习 步长 的选取：线性搜索 步长 的选取 Armijo型线性搜索 思想：逐渐减少步长， 直到是目标更优 * 第2讲 无约束优化问题的下降算法与线性搜索 先欣赏几个函数的图形 先欣赏几个函数的图形 最优化问题数学模型 凸规划—求凸函数在凸集上的最小值问题 无约束最优化问题 严格局部最优解 局部最优解 严格全局最优解 注意这个条件不是充分的。 ● 二阶必要性条件 利用二阶Taylor展式 由于x*是局部最小解，故 且存在充分小的正 数 ，对于所有的 令 ，得到 必要性证明 局部最优解的充分性条件 证明：令 为 的最小特征值，则对所有的 d 当 足够小时， 与 相比， 可以忽略不计 （1） （2） 复习：关于多元函数的梯度和Hessian矩阵 梯度的意义 ● 上升方向 下降方向 变化率为零的方向 等值线(面) 下降方向 d 观察一阶Taylor展式 最速下降法具有慢的收敛速度 Newton法具有很快的收敛速度（二阶） *