最优化方法考试大纲教程范本.doc

下降算法 定义： 若令 则优化问题等价为 一维搜索的几何意义搜索方向上所得最优点的梯度和该搜索方向正交 。 一维搜索的分类 一搜索 区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。 函数逼近法(插值法)：用比较简单函数的极小值点近似代替原函数的极小值点。从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。 利用《数值分析》中的求根法。 非精确的 通过计算少量的函数值，得到一步长，使得后续迭代点满足，即使目标函数要“充分”，下降。 Goldstein准则 Armijo准则 Wolfe准则 确定初始 优化算法通常具有局部性质，通常的迭代需要在单峰区间进行 若一维搜索的最优解 ，则称区间[a，b]为一维最优化问题的搜索区间；若进一步优化函数在区间严格单调递减，严格单调递增，则称区间[a，b]为单峰区间，是上的单峰函数。 精确一维搜索确定区间的方法 进退法 ①己知搜索起点和初始步长； ②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向； ③如果函数值下降，则维持原来的试探方向，并将步长加倍。 进退法计算流程： ，初始步长及精度，计算并记 步骤2：令，计算 . 步骤3：若搜索成功，转步骤4；否则，搜索失败，转步骤5 步骤4：， ， 转步骤2 步骤5：反向搜索，若，令，转步骤2；否则停止迭代 黄金分割法（）