最优化方法考试大纲.docVIP

下降算法 一维搜索 定义： ，若令 ，则优化问题等价为 。 一维搜索的几何意义：在搜索方向上所得最优点处的梯度和该搜索方向正交： 。 一维搜索的分类 精确一维搜索(函数值下降最多) 区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。 函数逼近法(插值法)：用比较简单函数的极小值点近似代替原函数的极小值点。从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。 利用《数值分析》中的求根法。 非精确的一维搜索 通过计算少量的函数值，得到一步长，使得后续迭代点满足，即使目标函数要“充分”，下降。 Goldstein准则 Armijo准则 Wolfe准则 确定初始区间 优化算法通常具有局部性质，通常的迭代需要在单峰区间进行操作以保证算法收敛。 若一维搜索的最优解 ，则称区间[a，b]为一维最优化问题的搜索区间；若进一步优化函数在区间严格单调递减，严格单调递增，则称区间[a，b]为单峰区间，是上的单峰函数。 精确一维搜索确定区间的方法 进退法 ①己知搜索起点和初始步长； ②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向； ③如果函数值下降，则维持原来的试探方向，并将步长加倍。 进退法计算流程： 步骤1：选取初始点，初始步长及精度，计算并记 步骤2：令，计算 . 步骤3：若搜索成功，转步骤4；否则，搜索失败，转步骤5 步骤4：， ， 转步骤2 步骤5：反向搜索，若，令，转步骤2；否则停止迭代 黄金分割法（0.618法） 黄金分割法是一种区间收缩方法(或分割方法)，其基本思想是通过取试探点和进行函数值比较，使包含极小点的搜索区间不断缩短以逼近极小值点。 抛物线法 抛物线法是插值方法的一种，其思想是利用多个函数值和导数值构造插值多项式，用多项式的最优值来逼近原函数的最优值。抛物线法属于3点二次插值。 抛物线法计算流程： 三次插值法 三次插值法的思想同样是利用多个函数值和导数值构造插值多项式，用多项式的最优值来逼近原函数的最优值，逼近函数是利用两点的函数值和导数值构造的3次插值多项式。 牛顿法 根据最优性条件，一维搜索问题的最优解 应该满足 ，则问题转化为非线性方程求根问题。 牛顿法也可认为是一类函数逼近方法，一点2次插值。 也可以根据函数连续性，用二分法进行非线性方程求根运算 精确一维搜索的收敛性 为了保证方法的下降性，避免搜索方向和负梯度方向正交的情形，假定 为搜索方向和负梯度方向的夹角。 定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索中采用精确搜索技术，则 ，或 或 不精确搜索 精确搜索计算量较大，特别是当迭代点远离最优解时，效率很低；而且，很多最优化方法的收敛速度并不依赖于精确一维搜索的过程。 自从Armijo(1966), Goldstein(1965)提出了不精确线性搜索方法以后，不精确线性搜索由于计算量小、效率高成了现在流行的线搜索方法。 在非精确一维搜索中，通常要求 比下降一定的数量，从而使得达到一个满意水平，此时的 就是可接受步长，并非精确求解一维最优化问题。 实践证明：非精确一维搜索方法可大大节省计算量，且总体上有较快的收敛速度。不用寻找单谷区间。 Armijo-Goldstein准则 Armijo-Goldstein准则计算流程： Wolfe准则 Wolfe准则计算流程： 不精确一维搜索的收敛性 为了保证方法的下降性，避免搜索方向和负梯度方向正交的情形，假定 为搜索方向和负梯度方向的夹角。 定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索中采用Goldstein准则，则 ，或 或 定理：若目标函数连续可微有下界，且在水平集上一致连续，搜索方向满足夹角条件，一维搜索中采用Wolfe准则，则 一维搜索方法评述 如目标函数能求二阶导数：用Newton法，收敛快。 如目标函数能求一阶导数 ： 如果导数容易求出，考虑用三次插值法，收敛较快； 对分法、收敛速度慢，但可靠； 二次插值法如割线法也可选择。 只需计算函数值的方法 ： 二次插值法, 收敛快，但对函数单峰依赖较强； 黄金分割法收敛速度较慢，但实用性强，可靠； 减少总体计算时间： 非精确一维搜索方法更加有效。 最速下降法 假设 连续可微，取 , 步长 由精确一维搜索得到。 从而得到第 次迭代点，即： 负梯度方向是函数值减小最快的方向。 最速下降法的计算流程 选定某一初始点， 并令 若 ，则 ，否则转（3）； 由精确一维搜索确定步长，即由一个极小化问题求得最佳步长 ，令， 转（2）. 最速下降法的收敛性分析： （收敛性定理）设目标函数 连续可微，且水平集 有界，则最速下降法或者在有限迭代