关于无约束最优化问题的信赖域解法.docVIP

关于无约束最优化问题的信赖域解法 引言 无约束优化问题是实际工程中最常见的问题之一。这类问题虽然形式比较简单，但是对于某些大规模的或者非线性很强的问题，求解它们仍然是有相当难度的。 无约束问题的算法大致分成两类：一类在计算过程中要用到目标函数的导数，另一类则只要求目标函数值。本文中所讲述的信赖域法，与牛顿法、最速下降法、共轭梯度法一样，同属于第一类方法。 信赖域法的主要内容 2.1 信赖域法的基本思想 虽然信赖域法与最速下降法等同属于一大类，但是在基本思想上还是有所不同。其他几种方法的基本策略是：给定点x(k)后，定义搜索方向d(k),再从x(k)出发沿d(k)作一维搜索，信赖域法则不然，下面重点阐述一下其基本思想： 首先给定一个所谓的“信赖域半径”作为位移长度的上界，并以当前迭代点为中心以此“上界”为半径确定一个称之为“信赖域”的闭球区域。然后,通过求解这个区域内的“信赖域子问题”(目标函数的二次近似模型)?的最优点来确定“候选位移”。若候选位移能使目标函数值有充分的下降量,?则接受该候选位移作为新的位移,并保持或扩大信赖域半径,?继续新的迭代。否则,?说明二次模型与目标函数的近似度不够理想,需要缩小信赖域半径，再通过求解新的信赖域内的子问题得到新的候选位移。如此重复下去，直到满足迭代终止条件。 2.2 信赖域法的数学分析 考虑无约束问题：