一维搜索线性搜索.pptxVIP

一维搜索线性搜索会计学第1页/共66页第3章 一维搜索方法3.1 概述3.1.1 一维问题是多维问题的基础 求目标函数 f (X)的极小点，从理论上说需要求解方程：其中那么如何来求 f (X)的极小点呢？基本思想: 这种方法是逐次迭代的方法，在电子计算机上很容易实现，因此它在优化设计中被广泛地采用。如：当则第2页/共66页Sk方向上的任何一点可以表示为其中α是步长因子，为实系数，此时 Sk 方向上任何一点的目标函数值为 ，它是参数α的一元函数。那么在沿 Sk 方向求的极小点，这就是求一元函数 的极小问题，它可表示为：这个过程称为一维搜索过程。第3页/共66页一维搜索示意图3.1.2的确定方法第4页/共66页 求多元函数极值点，需要进行一系列的一维搜索。可见一维搜索是优化搜索方法的基础。 求解一元函数 的极小点 ，可采用解析解法，即利用一元函数的极值条件 求在用函数 的导数求 时，所用的函数 是仅以步长因子 为变量的一元函数，而不是以设计点 x 为变量的多元函数 。第5页/共66页为了直接利用 的函数式求解最佳步长因子 。把 或它的简写形式 进行泰勒展开，取到二阶项，即 将上式对 进行微分并令其等于零，给出极值点 应满足的条件 从而求得第6页/共66页这里是直接利用函数 而不需要把它化成步长因子 。的函数 。不过，此时需要计算 点处梯度 和海赛矩阵 H 。解析解法的缺点——需要进行求导计算。对于函数关系复杂、求导困难或无法求导的情况，使用解析法将是非常不便的。 因此，在优化设计中，求解最佳步长因子 主要采用数值解法，利用计算机通过反复迭代计算求得最佳步长因子的近似值。数值解法的基本思路是：首先确定 所在的搜索区间，然后根据区间消去法原理不断缩小此区间，从而获得 的数 值近似解。④ 求得最优步长第7页/共66页 解析法: ① f(X(k) + αS(k) ) 沿S(k) 方向在x(k) 点泰勒展开；② 取二次近似： 对α求导，令其为零。 第8页/共66页 解析解法对于函数关系复杂、求导困难等情况难以实现。在实际优化设计中，数值解法的应用更为有效，且适合计算机的运算特点。 数值解法基本思路： 先确定在的搜索区间，然后根据区间消去法原理不断缩小此区间所，从而获得 的数值近似解。一维搜索一般分为两大步骤：(1)确定初始搜索区间[a，b]，该区间应是包括一维函数极小点在内的单谷区间。(2)在单谷区间[a,b]内通过缩小区间寻找极小点。 一维搜索也称直线搜索。这种方法不仅对于解决一维最优化问题具有实际意义，而且也是求解多维最优化问题的重要支柱。第9页/共66页3.2 确定初始区间1、确定搜索区间的外推法 在给定区间内仅有一个谷值（或有唯一的极小点）的函数称为单谷函数，其区间称为单谷区间。函数值：“大—小—大”图形：“高—低—高”单谷区间中一定能求得一个极小点。单谷区间第10页/共66页从 开始，以初始步长 向前试探。如果函数值上升，则步长变号，即改变试探方向。如果函数值下降，则维持原来的试探方向，并将步长加倍。区间的始点、中间点依次沿试探方向移动一步。此过程一直进行到函数值再次上升时为止，即可找到搜索区间的终点。最后得到的三点即为搜索区间的始点、中间三点和终点，形成函数值的“高－低－高”趋势。f (x)f (x)α00α1α3α1α3第11页/共66页说明：单谷区间内，函数可以有不可微点，也可以是不连续函数；基本思想：对 任选一个初始点 及初始步长 ，通过比较这两点函数值的大小，确定第三点位置，比较这三点的函数值大小，确定是否为“高—低—高”形态。第12页/共66页外推方法步骤： 1）选定初始点a1，初始步长h=h0，计算y1=f(a1)和y2=f(a1+h)2）比较y1和y2；a）如果y1y2，向右前进，加大步长h=2h0，转（3）向前；b）如果y1y2，向左后退， h=-2h0，将a1和a2,y1和y2的值互换。转（3）向后探测；c）如果y1=y2，极小点在a1和a1+h之间。3）产生新的探测点a3=a2+h，y3=f(a3)；第13页/共66页4）比较函数值y2和y3：a）如果y2y3 ，加大步长h=2h，a1=a2,a2=a3,转（3）继续探测；b）如果y2y3，则初始区间得到：a=min[a1,a3],b=max[a1,a3]，函数最小值所在区间为[a,b]。第14页