最优化方法第三章.ppt

第3章线性搜索与信赖域方法 本章内容 3.1 线性搜索 3.2 0.618 法和Fibonacci法 3.3 逐次插值逼近法 3.4 精确线性搜索方法的收敛性 3.5 不精确线性搜索方法 3.6 信赖域方法的思想和算法框架 3.7 信赖域方法的收敛性 3.8 解信赖域子问题 §3.1 线性搜索 线性搜索是多变量函数最优化方法的基础，在多变量函数最优化中，迭代格式为 其关键是构造搜索方向dk和步长因子αk.设 从xk出发, 沿搜索方向dk, 确定步长因子αk, 使 的问题就是关于α的线性搜索问题 理想的方法是使目标函数沿方向dk达到极小, 即使得 或者选取αk0使得 这样的线性搜索称为精确线性搜索, 所得到的αk叫精确步长因子 线性搜索算法分成两个阶段 第一阶段确定包含理想的步长因子(或问题最优解) 的搜索区间 第二阶段采用某种分割技术或插值方法缩小这个区间 进退法 确定初始搜索区间的一种简单方法叫进退法, 其基本思想是从一点出发, 按一定步长, 试图确定出函数值呈现“高低高”的三点 即φ(a)≥φ(c)≤φ(b) 这里a≤c≤b 具体地说, 就是给出初始点α00, 初始步长h00, 若 则下一步从新点α1=α0+h0出发, 加大步长, 再向前搜索, 直到目标函数上升为止. 若 则下一步仍以α0为出发点, 沿反方向同样搜索, 直到目标函数上升就停止.这样便得到一个搜索区间.这种方法叫进退法. 进退法步骤 算法3.1.1 步1. 选取初始数据.α0∈[0, ∞) , h00, 加倍系数t 1(一般取t=2), 计算 , k =0. 步2. 比较目标函数值.令 , 计算 , 若 , 转步3 , 否则转步4. 步3. 加大搜索步长, 令 转步2 步4. 反向搜索.若k= 0, 转换搜索方向, 令 转步2;否则, 停止迭代, 令 输出[a, b] , 停止. 线性搜索方法分类 线性搜索方法根据是否采用导数信息分为无导数方法和导数方法. 由于没有利用导数信息, 无导数方法一般没有导数方法有效 典型的无导数方法0. 618 法和Fibonacci法 §3.2 0.618法和Fibonacci法 0.618法和Fibonacci(斐波那契)法都是分割方法. 基本思想：通过取试探点和进行函数值的比较, 使包含极小点的搜索区间不断缩短, 当区间长度缩短到一定程度时, 区间上各点的函数值均接近极小值, 从而各点可以看作为极小点的近似. 这类方法仅需计算函数值, 不涉及导数, 又称直接法 这些方法要求所考虑区间上的目标函数是单峰函数 如果这个条件不满足, 我们可以把所考虑的区间分成若干个小区间, 在每个小区间上函数是单峰的. 这样, 我们在每个小区间上求极小点, 然后选取其中的最小点 设包含极小点α*的初始搜索区间为[a, b], 设 在[a, b] 上是凸函数. 0. 618 法的基本思想是在搜索区间[a, b] 上选取两个对称点λ,μ且λμ, 通过比较这两点处的函数值φ(λ)和φ(μ)的大小来决定删除左半区间[a,λ) , 还是删除右半区间(μ, b] 删除后的新区间长度是原区间长度的0 .618倍. 新区间包含原区间中两个对称点中的一点, 我们只要再选一个对称点,并利用这两个新对称点处的函数值继续比较.重复这个过程, 最后确定出极小点α* 例 用黄金分割法求函数f(x)=x2-x+2在区间[-1,3]上的极小值, 要求区间长度不大于原始区间长的0.08. 3.2.2 Fibonacci法 另一种与0 .618 法相类似的分割方法叫Fibonacci 法.它与0 .618 法的主要区别之一在于: 搜索区间长度的缩短率不是采用0 .618 而是采用Fibonacci 数. Fibonacci 数列满足 Fibonacci 法中的计算公式为 显然, 这里 相当于黄金分割法中的τ, 每次缩短率满足 这里n是计算函数值的次数, 即要求经过n次计算函数值后, 最后区间的长度不超过δ, 即 由于 故有 从而 (3.2.15)