最优化理论.pdfVIP

一维搜索: 1 精确一维搜索 精确一维搜索可以分为三类：区间收缩法、函数逼近法（插值法）、 以及求根法。 区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索 区间) 。包括：黄金分割法、成功失败法、斐波那契法、对分搜索法 以及三点等间隔搜索法等。 优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操 作以保证算法收敛。确定初始区间的方法：进退法 ①已知搜索起点和初始步长；②然后从起点开始以初始步长向前 试探，如果函数值变大，则改变步长方向；③如果函数值下降，则维 持原来的试探方向，并将步长加倍。 1.1 黄金分割法： 黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通 过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以 逼近极小值点。具有对称性以及保持缩减比原则。 优点：不要求函数可微，除过第一次外，每次迭代只需计算一个 函数值，计算量小，程序简单； 缺点：收敛速度慢； 函数逼近法（插值法）：用比较简单函数的极小值点近似代替原 函数的极小值点。从几何上看是用比较简单的曲线近似代替原的曲线， 用简单曲线的极小值点代替原曲线的极小点。 1.2 牛顿法： 将目标函数二阶泰勒展开，略去高阶项后近似的替代目标函数， 然后用二次函数的极小点作为目标函数的近似极小点。 牛顿法的优点是收敛速度快，缺点是需要计算二阶导数，要求初 始点选的好，否则可能不收敛。 1.2 抛物线法： 抛物线法的基本思想就是用二次函数抛物线来近似的代替目标 函数，并以它的极小点作为目标函数的近似极小点。在一定条件下， 1 抛物线法是超线性收敛的。 1.3 三次插值法： 三次插值法是用两点处的函数值和导数值来构造差值多项式，以 该曲线的极小点来逼近目标函数的极小点。一般来说，三次插值法比 抛物线法的收敛速度要快。 精确一维搜索的方法选择： 1 如目标函数能求二阶导数：用Newton 法，收敛快。 2 如目标函数能求一阶导数： 1 如果导数容易求出，考虑用三次插值法，收敛较快； 2 对分法、收敛速度慢，但可靠； 3 只需计算函数值的方法： 1 二次插值法, 收敛快，但对函数单峰依赖较强； 2 黄金分割法收敛速度较慢，但实用性强，可靠； 4 减少总体计算时间：非精确一维搜索方法更加有效。 2 非精确一维搜索 精确搜索计算量较大，特别是当迭代点远离最优解时，效率很低； 而且，很多最优化方法的收敛速度并不依赖于精确一维搜索的过程。 非精确的一维搜索：通过计算少量的函数值，得到一个可接受步 长，使得后续迭代点使目标函数要“充分”下降,达到一个满意水平， 非精确一维搜索方法可大大节省计算量，且总体上有较快的收敛速度。 不用寻找单谷区间！ 包括Armijo-Goldstein 准则和Wolfe 准则。Armijo-Goldstein 准则 可能将目标函数的极小点给排除在可接受区域外！！ Wolfe 将准则更 新后可避免最优解被排除。 2 2 无约束优化 2.1 一维搜索 （精确一维搜索，非精确一维搜索） 2.2 最速下降法 基本思想：以负梯度方向为下降方向，利用精确一维搜索得最佳 步长。 最速下降法中，利用精确一维搜索求最佳步长，使得相邻两次迭 代的搜索方向总是垂直的，使得逼近极小点过程是“之”字形，这样 从任何一个初始点开始，都可以很快到达极小点附近，但是越靠近极 小点步长越小，移动越慢，导致最速下降法的收敛速度很慢。实际运 用中，在可行的计算时间内可能得不到需要的结果。 优缺点： 优点：1 方法简单，每迭代一次的工作量和存贮量小；2 从一个 不好的初始点出发，也能保证算法的收敛性。 缺点：1 在极小值点附近收敛得很慢；2 梯度法的收敛速度与变 量的尺度关系很大；3 梯度法对小的扰动是不稳定的，这样就可能破 坏方法的收敛性。 2.3 牛顿法 基本思想：将目标函数二阶泰勒展开，略去高阶项后近似的替代 目标函数，然后用二次函数的极小点作为目标函数的近似极小点。 优点： 1 初始点离最优解很近时，算法收敛速度快；