杨雪- 信赖域.pptVIP

信赖域方法( Trust-Region Methods) 主要考虑如下形式的非线性无约束最优化问题： 通常采用迭代思想解决这种最优化问题： 设计信赖域算法需要考虑如下相关问题： 1 目标函数 的简单近似形式 2 点 的邻域（信赖域）大小的确定 3 函数值序列的下降性检测 4 信赖域子问题的求解 将 在给定点 展开，取二次近似： 六院五队 杨雪 其中 是连续可微函数 给定初始点 按照某种迭代规则产生点列 判断 是否为有穷列：若是，其最后一个点是最优化问题的最优解，否则，它有极限点, 且其极限点是最优化问题的最优解 信赖域方法和线性搜索方法是求解以上非线性优化问题的两类主要的数值方法.线性搜索方法首先按照某种方式确定一个下降方向 （如最速下降方向，牛顿方向等），然后从 出发，沿方向 进行线性搜索确定步长 ，得到下一个迭代点 。而信赖域方法是在当前迭代点 的附近用一个简单函数近似目标函数 。用该近似函数在 的某个邻域的极小值点作为下一个迭代点。 1 目标函数 的简单近似形式 记 得到二次模型： * 为了使近似更准确，需要限定 的取值。把当前点 的邻域定义为： 其中， 称为信赖域半径。 则构造出如下信赖域子问题： 其中， 1 目标函数 的简单近似形式 * 设 是信赖域子问题（2）的解，定义目标函数第k步的真实下降量为： 称二次模型函数 的下降量为预测下降量： 定义比值： 它衡量了二次模型与目标函数的逼近程度 。 越接近于1，表明接近程度越好。因此用它来确定下次迭代的信赖域半径。 1 目标函数 的简单近似形式 2 点 的邻域（信赖域）大小的确定 通常会给定常数 ，使得 3 函数值序列的下降性检测 * （1） 越接近于1，表明接近程度越好，这时可以增大 以扩大信赖域； （2） 0但是不接近于1，保持 不变，也可稍微减小； （3）如果 接近于0，减小 ，缩小信赖域。 信赖域算法 * Step1. 给出初始点 ，信赖域半径的上界 Step2. 计算 ，如果 ，停止；否则，计算 。 Step3. （近似）求解子问题（2），得到 。 Step4. 计算 ，令 Step5. 校正信赖域半径，令 信赖域算法 * Step6. 令k=k+1,转Step2. 很成功迭代： ，信赖域扩大； 成功迭代： 不成功迭代： ，信赖域缩小。 算法参数选择： 4 解信赖域子问题的求解 信赖域方法在每步迭代中求解下列形式的子问题： 下面的引理给出了信赖域子问题有解的充要条件： 设 是对称矩阵，则向量 是信赖域子问题的解的充分必要条件是，存在 ，满足： . 半正定 （1） （2） （3） （4） 4 解信赖域子问题的求解 * 其中， S为待求变量。当 变化时，S的解形成一条空间曲线，称为最优曲线。 Powell[1970]给出了求解（2）的单折线法，当 可逆时。用连接初始点、 的单折线近似最优曲线，在折线上取点 使得 作为（2）的解 。 解信赖域子问题 机械最优化设计课程 * 4 解信赖域子问题的求解 4 解信赖域子问题的求解 算法实现 例 用信赖域法求解 该问题的精确为 运行程序，输入： * *