理论部分一收敛性分析幻灯片.pptVIP

理论部分　 收敛性分析 无约束最优化算法的一般迭代格式 Step1: 给出 Step2: 计算 如果 停． Step3: 计算下降方向 Step4: 计算步长因子 Step5: 令 转步２. 精确线搜索方法的收敛性 设 表示向量 与 之间 的夹角，即： 定理1 设 是下降方向， 是精确线搜索的 步长因子， 若存在常数 使得对所有 则： 证： 由假设可知对任意 有： 令： 由于 是精确线搜索步长，故有： 精确线搜索方法的收敛性 定理2 设梯度 在 上存在且一致连续， 采用精确线搜索算法 产生的方向 与 的夹角 满足： 对某个 则或者对某个有限的 有 或者 或者 证： 假定对所有的 下有界． 由于 单调下降， 故极限存在， 因而： 反证法： 假定 不成立， 则存在常数 和一个子序列使得 从而： 又： 其中 在 与 之间． 由于 在水平集 上一致连续， 故存在 使得当 时： 依次利用(2),(3),和(4)得： 从而由精确线搜索可得： 这与(1)矛盾， 从而有 不精确线搜索方法的收敛性 设 表示向量 与 之间 的夹角，即： 定理3 设函数 连续可微， 梯度 满足 Lipschitz连续条件： 如果 下有界， 则对满足Wolfe 原则的任何 均有： 证明： 由Lipschitz条件和原则二得： 即： 利用原则一和(6),有： 不精确线搜索方法的收敛性 定理4 设函数 连续可微和下有界， 在 水平集 上一致连续． 设不精确线搜索方法采用Wolfe原则，则： 如果夹角条件满足，则： 证： 由于 又由于 下有界， 因此 序列 是有定义的， 且在水平集 中． 反证法： 假定(6)不成立， 则存在 和子序列， 其指标集为K，使得: 于是,由原则一： 又由于 单调下降， 因而收敛的， 故 收敛到零． 又由原则二： 因此： 由于 收敛到零， 故由 在水平集 上一致连续知上式右边趋于零， 从而产生矛盾.