维搜索.docVIP

第5章 一维搜索 §5.1 最优化算法的简单介绍 1．算法概念 在解非线性规划时，所用的计算方法，最常见的是迭代下降算法． 迭代：从一点出发，按照某种规则A求出后继点．用代替，重复以上过程，产生点列。 规则A是在某个空间X中点到点的映射，即对每一个，有点． 更一般地，把A定义为点到集的映射，即对每个点，经A作用，产生一个点集.任意选取一个点，作为的后继点． 定义1: 算法A是定义在空间X上的点到集映射，即对每一个点，给定－个子集. 例1 考虑线性规划： 最优解．设计一个算法A求出这个最优解． 从一点出发，经A作用得到一个闭区间.从此区间中任取一点作为后继点，得到一个点列.在一定条件下，该点列收敛于问题的解．利用算法A可以产生不同的点列，如以为起点可产生点列: 其聚点是问题的最优解． 在许多情况下，要使算法产生的点列收敛于全局最优解是比较困难的．因此，一般把满足某些条件的点集定义为解集合.当迭代点属于这个集合时，就停止迭代． 无约束最优化问题可以定义解集合为 约束最优化问题可以定义解集合为 2. 算法收敛问题 设为解集合，是一个算法，集合.若以任一初点开始，算法产生的序列其任一收敛子序列的极限属于，则称算法映射A在Y上收敛． 收敛速率: 定义2: 设序列收敛于，定义满足 的非负数p的上确界为序列的收敛级． 若序列的收敛级为p，就称序列是p级收敛的． 若且，则称序列是以收敛比 线性收敛的． 若或者且，则称序列是超线性收敛的． 例2 序列. 序列以收敛比a线性收敛于零． 例3 序列 序列是2 级收敛的． 注1：收敛级取决于当时该序列所具有的性质，它反映了序列收敛的快慢． 收敛级p越大，序列收敛得越快． 当收敛级p相同时，收敛比越小，序列收敛得越快。 §5.2 一维搜索基本概念 5.2.1 基本概念 在许多迭代下降算法中，得到点后，需要按某种规则确定一个方向，再从出发，沿方向在直线（或射线）上求目标函数的极小点，从而得后继点． 求目标函数在直线上的极小点，称为一维搜索，或称为线搜索．一维搜索可归结为单变量函数的极小化问题． 求目标函数在直线上极小点转化为求一元函数 的极小点． 一维搜索大体可分成两类： 试探法： 按某种方式找试探点．通过一系列试探点来确定极小点． 函数逼近法，或插值法：用某种较简单的曲线逼近本来的函数曲线，通过求逼近函数的极小点来估计目标函数的极小点． 这两类方法一般只能求得极小点的近似值，称为非精确一维搜索． 5.2.2 搜索区间及其确定方法 一维搜索需要事先给定一个包含极小点的区间，此区间称为搜索区间。 搜索区间确定方法：进退法． 进退法是一种试探法：从一点出发，按一定的步长，试图确定出函数值呈现“高-低-高”的三点。一个方向不成功，就退回来．再沿相反方向寻找． 进退法的计算步骤： (l)给定初点，初始步长．置，，计算，并置. (2)令，计算，置. (3)若，则转步骤（4）；否则，转步骤（5）． (4)令, , , ，置，转步骤（2）. (5) 若，则转步骤（6）；否则，转步骤（7）. (6) 置, ，，转步骤（2）. (7) 令,，，停止计算． 得到含有极小点的区间或者． 注2：实际应用中，为了获得合适的，有时需要做多次试探才能成功． 5.2.3 单峰函数及其性质 定义3: 设是定义在闭区间上的一元实函数, 是在上的极小点，并且对任意的，，有当时，，当时，，则称是在闭区间上的单峰函数． 单峰函数的性质：通过计算区间内两个不同点处的函数值，就能确定一个包含极小点的子区间． 定理1: 设f是区间上的单峰函数，,且.如果，则对每一个，有；如果，则对每一个，有. 根据定理1，只需选择两个试探点，就可将包含极小点的区间缩短． §5.3 0.618法和Fibonacci法 5.3.1 0.618法 0.618 法（黄金分割法）适用于单峰函数． 基本思想：通过取试探点使包含极小点的区间（不确定区间）不断缩短，当区间长度小到一定程度时，区间上各点的函数值均接近极小值，因此任意一点都可作为极小点的近似． 试探点计算公式： 设在上单峰，极小点.设进行第 次迭代时，有．为缩短包含极小点的区间，取两个试探点,并规定． （1） （2） 计算步骤： （1）置初始区间及精度要求，计算试探点和，计算函数值和．计算公式： 令. （2）若，则停止计算．否则，当时，转步骤（3）；当时，转步骤（4）. （3）置，，, 计算函数值，转步骤（5）. （4）置，，, 计算函数值，转步骤（5）. （5）置，返回步骤（2）. 例4：解下列问题：。 初始区间，精度. 1 -1 1 -0.236 0.236 -0.653 -1.1