最优化方法第三章－孙文瑜.ppt

第3章线性搜索与信赖域方法 本章内容 3.1 线性搜索 3.2 0.618 法和Fibonacci法 3.3 逐次插值逼近法 3.4 精确线性搜索方法的收敛性 3.5 不精确线性搜索方法 3.6 信赖域方法的思想和算法框架 3.7 信赖域方法的收敛性 3.8 解信赖域子问题 §3.1 线性搜索 线性搜索是多变量函数最优化方法的基础，在多变量函数最优化中，迭代格式为 其关键是构造搜索方向dk和步长因子αk.设 从xk出发, 沿搜索方向dk, 确定步长因子αk, 使 的问题就是关于α的线性搜索问题 理想的方法是使目标函数沿方向dk达到极小, 即使得 或者选取αk0使得 这样的线性搜索称为精确线性搜索, 所得到的αk叫精确步长因子 线性搜索算法分成两个阶段 第一阶段确定包含理想的步长因子(或问题最优解) 的搜索区间 第二阶段采用某种分割技术或插值方法缩小这个区间 进退法 确定初始搜索区间的一种简单方法叫进退法, 其基本思想是从一点出发, 按一定步长, 试图确定出函数值呈现“高低高”的三点 即φ(a)≥φ(c)≤φ(b) 这里a≤c≤b 具体地说, 就是给出初始点α00, 初始步长h00, 若 则下一步从新点α1=α0+h0出发, 加大步长, 再向前搜索, 直到目标函数上升为止