非线性优化问题PPT课件.ppt

. 阻尼牛顿法收敛定理 定理2: 设 二阶连续可微， 又设对任意的 存在常数 使得 在 上满足： 则在精确线搜索条件下， 阻尼牛顿法产生的点列 满足： (1) 当 是有限点列时， 其最后一个点为 的唯一极小点． (2) 当 是无限点列时， 收敛到 的唯一极小点． 阻尼牛顿法收敛定理 定理3: 设 二阶连续可微， 又设对任意的 存在常数 使得 在 上满足： 则在Wolfe不精确线搜索条件下， 阻尼牛顿法 产生的点列 满足： 且 收敛到 的唯一极小点． 例2： 用阻尼牛顿法求解： 解： 显然 不是正定的， 但： 于是， 沿方向 进行线搜索， 得其极小点 从而迭代不能继续下去． 带保护的牛顿法算法 给出 Step1: 若 为奇异的，转Step8，否则， Step2: 令 Step3: 若 为奇异的，转Step8，否则， 则转Step8，否则， Step4: 若 则转Step9，否则， Step5: 沿方向 进行线搜索， 求出 并令 Step6: 若 停； Step7: 令 转Step1； Step8: 令 转Step5； Step9: 令 转Step5. 例3： 用带保护的牛顿法求解： 解： 显然 不是正定的， 但： 于是， 因为， 故令， 沿 进行线搜索得： 第二次迭代： 而： 使 故令 沿 进行线搜索， 得出 于是: 此时: 共轭梯度法 问题1: 如何建立有效的算法？ 从二次模型到一