第二章直线搜索解析.ppt

第二章 直线搜索 本章讨论 的主要问题是 解决这个问题的方法承为直线搜索或一维搜索。这种方法不仅对于解决一维最优化本身具有实际意义，而且也是解多维最优化问题的重要支柱。 在微积分中解 的方法限于方程 可以直接求解出来的情况。本章介绍的方法对 不作严格要求，它可以很复杂，其导数可能不存在或者很难求出。当然对于可以求导数的情况，相应的方法也会简单些。 本章将讨论以下四种直线搜索方法： （1）对分法：适用于 的一阶导数连续并可以求出的情况。 （2）Newton切线法：适用于 的一阶导数和二阶导数都可求出的情况。 （3）黄金分割法：适用于一般的函数。 （4）抛物线插值法：适用于一般的连续函数。 §1 搜索区间的确定 定义2： ，t*是 在L上的全局极小点。若找到 ,则称此区间[t1，t2] 为 的极小点的一个搜索区间，记为 。 若t1t3 t2,也可将搜索区间 记为 证明：利用反证法证明。对于后一种情况，即 。若 不是搜索区间，即 的极小点必在（a,t1)中。此时有t*≤t1t2, 根据单谷函数定义知： 矛盾。 故（t1,b)是搜索区间，同样可证前种情形。 确定了搜索区间{μ，ν，ω}（实际应该为{ν，ω}放大）。但区间[ν，ω]是[μ，ν]的两倍长。（ω-ν=2（ν-μ）） 上述过程的关键是开始时怎样选择步长h ，如选得太小,需迭代多次才能找到搜索区间，而若选得太大，虽然一次就能找到搜索区间，但给下一步找极小点过程增加了负担。 下面将介绍选择初始步长h的一种方法。 实际操作时可采用两种方案：一是下降迭代算法每次迭代均用（8）来确定初始步长，二是在第一次迭代 算法时用（8）而以后每次迭代初始步长均用 来计算。这是因为 一般是接近的。 因而用前依次迭代所走的距离作为下一次迭代的初始步长是合适的，计算经验表明，后一种方案更有效些。 §2 对分法 这时有估计： 。至于区间 [a,b]的确定，一般可采用下述方法： * * 0 t t* 0 t t* 定义1：设 ，t*是 在L 上的 全局极小点。如果对于L上任取的两点t1和t2且t1 t2,均有：当t2≤t*时， ，当t1≥t*时， 则称 是区间L上的单谷函数。 以下假设一元函数 是单谷函数。 单谷函数的性质： 设 是单谷函数极小点的一个搜索区间。在 (a,b)上任取两点t1，t2，使t1 t2,若 则 是 极小点的一个搜索区间；若 ，则 是 极小点的一个搜索区间。 单谷函数的这一性质可用来将搜索区间无限缩小，以至求到极小点。 本章下面就介绍的直线搜索法，第一步就是要找一个初始搜索区间，下面就介绍一种有效的找初始搜索区间的 方法。 〈2〉 比较 的值，转3，4 〈3〉若 ，比较 ，转 5， 6。 算法1：（搜索区间的确定）已知目标函数 。 〈1〉 选择初始点t0和步长 h. 令μ=t0+(2m-1-1)h,ν=t0+(2m-1)h,ω=t0+(2m+1-1)h 〈4〉若 ，计算 直到有某个m≥1使 0 t μ ν γ ω （a) ν 0 t μ γ ω (b) t 0 t0-h t0 t0+h (c) 因此只需比较ν和区间[ν，ω]的中点 的对应函数值，即