第8讲信赖域方法.ppt

3.6 信赖域方法( Trust-Region Methods) * 基本思想 线性搜索与信赖域方法的联系 信赖域方法思想 信赖域半径的选择 信赖域算法 信赖域方法的收敛性 解信赖域子问题 优化工具箱 信赖域方法和线性搜索方法是求解非线性优化问题的两类主要的数值方法.与线性搜索方法相比，信赖域方法思想新颖，具有可靠性，有效性和很强的收敛性.鉴于信赖域方法的优点，由它来构造新的优化方法成为非线性优化界许多学者关注的焦点. 单折线法； 双折线法; 切线折线法; 信赖域自适应调整算法……… 8. Optimization Toolbox Many of the methods used in the Optimization Toolbox are based on trust-regions, a simple yet powerful concept in optimization. The key questions in defining a specific trust-region approach to minimizing are : (1). how to choose and compute the approximation q . (defined at the current point x), (2). how to choose and modify the trust region , (3). how accurately to solve the trust-region sub-problem. [s,val,posdef,count,lambda] = TRUST(g(x),B,d) ; %TRUST是matlab自带的求解信赖域子问题的函数 ? 利用它信赖域方法的程序就简单多了. 作业 P111. 习题7. 基本思想 在每次迭代中给出一个信赖域，这个信赖域一般是当前迭代点的一个小邻域.然后在这个邻域内求解一个子问题，得到试探步长(trial step)，接着用某一评价函数来决定是否接受该试探步以及确定下一次迭代的信赖域. 如果试探步长被接受，则： ， 否则， . 新的信赖域的大小取决于试探步的好坏，粗略地说，如果 试探步较好，在下一步信赖域扩大或保持不变，否则减小信赖域. 2．线性搜索与信赖域方法的联系 2.1不同点: 与线性搜索方法相比，信赖域方法直接通过模型求解得到试探步长，而不是先确定搜索方向，再寻找步长. 2.2相同点: 线搜索方向可以看成是信赖域半径充分大时的信赖域步；而信赖域方法所得出的试探步可看成是将二次逼近模型加上一个惩罚项之后所导致的线搜索方向. 3．信赖域方法思想 设当前点的邻域定义为: （1） 其中, 称为信赖域半径. 目标函数在极值点附近近似一个二次函数，因此对于无约束优化问题,利用二次逼近，构造如下信赖域子问题: , （2） 其中，, 是目标函数在当前迭代点处的梯度，对称，是在处Hesse阵或者其近似. 3．信赖域方法思想 设是信赖域子问题(2)的解.我们称目标函数在第步的实际下降量(真实下降量): (3) 称二次模型函数的下降量(预测下降量)： (4) 定义比值: . (5) 它衡量了二次模型与目标函数的逼近程度，越接近于1，表明接近程度越好. 因此，我们也用这个量来确定下次迭代的信赖域半径. 4．信赖域半径的选择 (1). 越接近于1，表明接近程度越好.这时可以增大以扩大信赖域 ; (2). 但是不接近于1, 保持不变 ; (3). 如果接近于0, 减小,缩小信赖域 . 或者其它的选择方法： Satenaer(1997)研究了初始信赖域半径的选取对算法有效性的影响, 给出了一个自动确定初始信赖域半径的ITRR算法, 其基本思想是通过二次近似模型和目标函数沿负梯度方向的近似程度, 调节初始信赖域半径. Zhang(2002)等同把这一思想应用到信赖域半径的自适应. 5．信赖域算法 Step1. 给出初始点，信赖域半径的上界,,, ,,. Step2. 如果,停止. Step3. (近似)求解子问题(2),得到. Step4. 计算和.令 . Step5.校