现代科技综述知识文库：信赖域法.pdf

现代科技综述系列—— 信信赖赖域域法法 科技是人类区别于动物的重要文明之一， 是人类对自然规律研究 利用的学科。 本文提供对科技基本概念 “信赖域法” 的解读，以供大家了解。 信信赖赖域域法法 一类很新的求解非线性规划问题的计算方法。 它 经典的线性搜索方法并列为目前求解非线性规划 问题的两类主要数值方法。 信赖域法思想新颖，算法可靠，具有很强的收敛性 质。 它不仅能很快地求解良态问题，而且也能有效地求解 病态(ill-coditoned) 的优化问题。 信赖域法的研究是近年来非线性规划的领域的一个重 要研究方向，是当今寻求如何构造新的优化计算方法 的主要途径。 信赖域法起源于鲍尔(M ．J ．D ．Powell) 1970年的工 作。 他提出一个求解无约束优化的算法，该算法在每次迭 代时强制性地要求新的迭代点与当前迭代点之间的距 离不超过某一控制量。 鲍尔引入控制步长这一技巧，是因为他发现传统的线 搜索方法常常由于线搜索步太大而导致算法失败，特 别是当问题病态(ill conditioned)时尤为如此。 控制步长实质上等价于在当前迭代点为中心的一个邻 域内对一个近似于原问题的简单模型求极值。 这种技巧可以理解为我们只在一邻域内对近似模型信 赖(trust)，所以这一邻域被称为信赖域(trust regiion) 。 利用这一技巧的方法也就称为信赖域法。 后来，人们发现控制步长在模型问题是二次函数时等 价于对模型函数的海色阵增加一个纯量阵(scalar matrix)，后者在利温伯格( ．Levenberg) 1944年以及马 夸尔特(D ．W ．Marquardt) 1963年的求解非线性最小二 乘方法中就已被用到。 1975年鲍尔给出了信赖域法的第一个收敛性结果。 他在仅假定函数连续可微近似海色阵满足的条件下证 明了无约束优化的信赖域法的全局收敛性。 鲍尔还给出了一个超线性收敛性定理。 1984年鲍尔将要求收敛的条件放松到ǁBkǁ≤ck 。 鲍尔证明的收敛性结果都是弱收敛意义下的，即。 这种弱收敛结果在实际计算中对于保证算法有限终止 是足够的。 在稍强的假定下，舒尔茨(G ．A ．Shultz)、许纳博(R ． B ．Schnabel) 伯德(R ．H ．Byrd)证明了无约束优化的 信赖域法在强收敛意义下的全局收敛性。 1982年弗莱彻(R ．Fletcher)提出了用信赖域法来求解复 合非光滑优化(composite nondifferentiable optimization) 问 题。 他给出了一个模型算法，并在模型二次函数的海色阵 一致有界的假定下证明了该算法的全局收敛性。 1985年袁亚湘(Y ．Yuan)在仅要求近似海色阵满足 ǁBkǁ≤ck 的假定下证明了一类非光滑优化的信赖域法的 全局收敛。 1984年袁亚湘构造出一个极大极小问题，指出了一类 非光滑优化的信赖域法仅有线性收敛速度。 造成这种线性收敛的原因是在每次迭代时函数的真实 下降与预估下降之比都小于。 这个比值不靠近1，使得算法错误地认为点到还未收 敛，故缩小信赖域半径，导致信赖域约束在每次迭代 都是积极的，因而破坏了算法的超线性收敛性。 1982年弗莱彻提出了一个二阶校正步(second order correction step)信赖域法。 二阶校正步法基本上 弗莱彻的模型信赖域法一样， 只是在一些迭代中求解一个二阶校正子问题。 1985年袁亚湘证明了对于包括极大极小在内的一类复 合非光滑优化问题，如果拉格朗日(Lagrange)乘子的估 计较好，则弗莱彻的二阶校正步法是二次收敛的。 后来，柏克(J ．V ．Bur