第3章单变量寻优方法.docVIP

第三章：单变量寻优方法 优化设计由两个基本步骤构成 每次迭代都要确定搜索方向 在所选定的方向上搜索目标函数的极小点 单变最优化问题 方法 直接法：搜索法：成功-失败法 序贯实验法：分数法，黄金分割法 多项式近似法：二次多项式近似（抛物线插值法） 间接法：化为求根问题：切线法 割线法 3.1：“成功-失败”法（又称进退法） 方法 先从某个初始点出发，利用目标函数的信息，来回地仔细搜索，以期求得无条件极值问题，即的最优解。 原理 搜索成功：从起始，以h为步长搜索一次，目标函数下降。 大步前进：搜索成功后就以为起点，以2h为步长，即步长加倍进行搜索。 搜索失败：从起始，以h为步长搜索一次，目标函数不下降。 小步后退：搜索失败后仍以为起点，即退回起始搜索点，并以为步长，即改变搜索方向和缩小步长。 搜索停止：每次搜索时，步长h都要改变。若为预先给定的允许误差，则当搜索到某步长小于时，搜索停止，得到问题的近似解。 例 程序流程图 优点 迭代步骤简单、直观。（爬山的思想） 缺点 最初几步迭代目标函数改进的比较快，但在最优解附近收敛速度慢。 3.3：黄金分割法（0.618法） 方法 序贯试验方法之一，每增加一次试验点，通过比较，总能使原搜索区间缩小，不断增加试验点，就能逐步缩小搜索区间，直至最小点存在的范围达到允许的误差范围为止。 原理 黄金分割：有一线段长L，将它分割成两部分，长的一段为，短的一段为，如果分割的比例满足以下关系 则这种分割称为黄金分割。 整个线段与分割后长的一段的长度之比，等于长的一段与短的一段的长度之比。 黄金比：黄金分割比例系数q 思路 如图(a)所示，和哪个点好，事先并不知道，因此最有利的方案是要求它们一样长。 和相互对称，并希望舍去之后，保留的点，仍处于留下区间相应位置上，即，如果丢掉了，留下的是，则其中保留的点在中的位置和在中的位置相仿，即比值相同 与黄金分割的式子相同 因此，只要一个点取在原始区间的0.618处，另一个点在它对称位置上，就能保证经过多次舍去，保留的点始终在新区间内。 最大迭代次数 每次舍去，区间的缩短率总是0.618，总区间的缩短率与舍去次数有关系 当a小于给定精度，搜索即停止，但每次舍去区间的计算都有误差，舍入误差，舍去次数增加，则舍入误差增大，因此限制舍去次数m不超过某规定值K，计算表明K=11比较合适。 迭代停止条件 目标函数满足相对精度 变量满足相对精度 迭代次数满足最大限制K 计算方法及步骤 1：初始区间为，第一次缩短区间区两个试验点，如图(b) 计算与值，并进行比较。 若，舍去，如(c)， 若，舍去，如(d)， 再计算函数值，进行比较，缩短区间如前。 2：每缩短一次区间之前，判断一下是否满足 若满足任一式，则迭代停止。 3：比较最后求得的两个试验点目标函数，确定最后的区间、最小点和最小目标函数值。 程序流程图 确定搜索区间 1：用成功-失败法确定搜索区间 设给定初始点及初始步长h，求搜索区间[a,b] 先计算 前进：若，步长加倍，计算 若，则： 否则，将步长再加倍，重复以上运算。 后退：若，步长缩小并改变符号，计算 若，则： 否则，将步长加倍，并继续后退。 优点：能够选出使目标函数呈凸函数情况的搜索区 缺点：对于有变量范围限制的问题，用这种方法将引起计算机时的浪费 2：以变量空间为边界确定搜索区间 对于多变量的情况 判别单位向量P在每个坐标轴上的方向余弦 计算每个坐标轴所限定的0~1区间在P方向上的对应位置 当时： 当时： 当时： 从i=1，2，。。。，n,重复前面的步骤 取每个坐标轴在P方向上限定位置中的最小值， 优点：一维搜索仅在变量的有效空间内进行，不致引起计算机时的浪费。 缺点：不能保证目标函数是凸函数。 3.3：二次多项式近似法 方法 用一个多项式来拟合目标函数。即在搜索目标函数极小点的小区间内，利用若干点处的目标函数值来构成低次插值多项式。用这个多项式作为目标函数的近似表达式，并用这个多项式的极小点作为目标函数极小点的近似值。 原理 若找出三个点 满足（高-低-高） 就可以通过三个点及其目标函数值作一条二次抛物线来拟合函数， 满足条件 求导 极值点为 相邻两个方程相减 解方