最优化方法及控制应用1PPT.ppt

N Y X是否满足终止准则 输出X， f(X) 开始 结束 选定X0 确定P 确定t，使得f (X0+t P) f (X0) X=X0+t P X0=X 上述算法框图如右图 一维搜索法 § 搜索区间及其确定方法 § 对分法 § Newton切线法 § 黄金分割法 § 抛物线插值法 由前面关于求解最优化问题概述中我们知道，从已知迭代点 出发按照基本迭代格式 来求解最优化问题，其关键在于如何构造一个搜索方向 和确定一个步长 使下一迭代点 处的目标函数值下降，即 。现在我们来讨论，当搜索方向 已经确定的情况下，如何来确定步长 ？ 步长因子的选取有多种方法，如取步长为常数，但这样选取的步长并不最好，如何选取最好步长呢？实际计算通常采用一维搜索来确定最优步长。 一维搜索法 对无约束最优化问题 当已知迭代点 和下降方向 时，要确定适当的步长 使 比 有所下降，即相当于对于参量 的函数 要在区间 上选取 使 即 ． 由于这种从已知点 出发，沿某一下降的探索方向 来确定步长 的问题，实质上是单变量函数 关于变量 的一维搜索选取问题，故通常叫做一维搜索． 一维搜索法 按这种方法确定的步长 又称为最优步长，这种方法的优点是：它使目标函数值在搜索方向上下降得最多． 今后为了简便起见，我们用记号 表示从点 出发沿方向 对目标函数作直线搜索所得到的极小点是 其中l和s分别是Linear search(直线搜索)两词的词首,在目标函数 已确定的条件下(4.1)等价于如下两式： 一维搜索法 下面进一步解释迭代点 的空间位置。容易证明，若从 出发，沿 方向进步一维搜索得极小点 则该点 处的梯度方向 与搜索方向 之间应满足 事实上，设 对 求导有 令 即 所以 一维搜索法 式（4.2）的几何意义是明显的: 从某一点 出发沿方向 对目 标函数 作直线搜索,所得到 的极小点为 式（4.2）指出， 梯度 必与搜索方向 正交.又因为 与目标函数过点 的等值面 正交，所以进一步看到，搜索方向 与这个等值面在点 处相切（如图所示）． 一维搜索法 搜索区间及其确定方法 一、搜索区间 设一维最优化问题为 为了求解问题(4.3),我们引入如下的搜索区间概念． 定义4.1 若存在闭区间 使 则称 是问题(4.3)的搜索区间． 简言之，一个一维最优化问题的搜索区间，就是包含该问题最优解的一个闭区间．通常，在进行一维搜索时，一般要先确定出问题的一个搜索区间，然后再此区间中进行搜索求解． 二、加步探索法 下面，介绍一个确定问题(4.3)的搜索区间的简单方法．这个方法的思想是：先选定一个初始点 或 和初始步长 然后，沿着轴的正方向探索前进一个步长，得到新点 若目标函数在新点处的值是下降了，即 则下一步就从新点 出发加大步长，再向前探索。 若目标函数在新点处的值上升，即 则下一步仍以 为出发点以原步长开始向 轴的负方向同样探索。当达到目标函数上升的点时，就停止探索，这时便得到问题（4.3）的一个搜索区间． 这种以加大步长进行探索来寻找探索区间的方法叫加步探索法。 搜索区间及其确定方法 加步探索法算法的计算步骤： (1) 选取初