最优化方法考试大纲试卷.docVIP

下降算法 定义： 若令 则优化问题等价为 一维搜索的几何意义搜索方向上所得最优点的梯度和该搜索方向正交 。 一维搜索的分类 一搜索 区间收缩法：用某种分割技术缩小最优解所在的区间(称为搜索区间)。 函数逼近法(插值法)：用比较简单函数的极小值点近似代替原函数的极小值点。从几何上看是用比较简单的曲线近似代替原的曲线，用简单曲线的极小值点代替原曲线的极小点。 利用《数值分析》中的求根法。 非精确的 通过计算少量的函数值，得到一步长，使得后续迭代点满足，即使目标函数要“充分”，下降。 Goldstein准则 Armijo准则 Wolfe准则 确定初始 优化算法通常具有局部性质，通常的迭代需要在单峰区间进行 若一维搜索的最优解 ，则称区间[a，b]为一维最优化问题的搜索区间；若进一步优化函数在区间严格单调递减，严格单调递增，则称区间[a，b]为单峰区间，是上的单峰函数。 精确一维搜索确定区间的方法 进退法 ①己知搜索起点和初始步长； ②然后从起点开始以初始步长向前试探，如果函数值变大，则改变步长方向； ③如果函数值下降，则维持原来的试探方向，并将步长加倍。 进退法计算流程： ，初始步长及精度，计算并记 步骤2：令，计算 . 步骤3：若搜索成功，转步骤4；否则，搜索失败，转步骤5 步骤4：， ， 转步骤2 步骤5：反向搜索，若，令，转步骤2；否则停止迭代 黄金分割法（） 抛物线法 抛物线法是插值方法的一种，其思想是利用多个函数值和导数值构造插值多项式，用多项式的最优值来逼近原函数的最优值。抛物线法属于3点二次插值。 抛物线法计算： 法 牛顿法 应该满足 ，则问题转化为非线性方程求根问题。 牛顿法也可认为是一类函数逼近方法，一点2次插值。 也可以根据函数连续性，用二分法进行非线性方程求根运算 一维搜索的收敛性 为搜索方向和负梯度方向的夹角。 定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索采用精确搜索技术，则 或 不精确搜索 自从Armijo(1966), Goldstein(1965)提出了不精确线性搜索方法以后，不精确线性搜索由于计算量小、效率高成了现在流行的线搜索方法。 在非精确一维搜索中，通常要求 比下降一定的数量，从而使得达到一个满意水平，此时的 就是可接受步长，并非精确求解一维最优化问题。 实践证明：非精确一维搜索方法可大大节省计算量，且总体上有较快的收敛速度。不用寻找单谷区间。 Armijo-Goldstein准则 Armijo-Goldstein准则计算流程： Wolfe准则 Wolfe准则计算流程： 不精确一维搜索的收敛性 为了保证方法的下降性，避免搜索方向和负梯度方向正交的情形，假定 为搜索方向和负梯度方向的夹角。 定理:若目标函数梯度存在，且在水平集上一致连续，搜索方向满足夹角条件，线搜索采用Goldstein则则 或 定理：若目标函数连续可微有下界，且在水平集上一致连续，搜索方向满足夹角条件，一维搜索中采用Wolfe准则，则 一维搜索方法评述 如目标函数能求二阶导数：用Newton法，收敛快。 如目标函数能求一阶导数 ： 如果导数容易求出，考虑用三次插值法，收敛较快； 对分法、收敛速度慢，但可靠； 二次插值法如割线法也可选择。 只需计算函数值的方法 ： 二次插值法, 收敛快，但对函数单峰依赖较强； 黄金分割法收敛速度较慢，但实用性强，可靠； 减少总体计算时间： 非精确一维搜索方法更加有效。 最速下降法 连续可微 , 步长 由精确一维搜索得到。 得到第 迭代点，即 负梯度方向是函数值减小最快的方向。 的计算流程 某一初始点 并令 若 ，则 否则转（） 由精确一维搜索确定步长即一个极小化问题求得最佳步长 令 转（） 最速下降法的收敛性分析： （收敛性定理）设目标函数 连续可微，且水平集 有界，则最速下降法或者在有限迭代步后终止；或者得到点列 ，它的任何聚点都是的驻点。 （推论）在收敛定理的假设下，若为凸函数，则最速下降法或在有限迭代步后达到最小点；或得到点列，它的任何聚点都是的全局最小点。 最速下降法的特征： 相邻两次迭代的方向互相。 在两个相邻点之间的搜索方向是的。 向极小值点逼近是曲折前进的，这种现象称为锯齿现象。 在最速下降法中，利用精确一维搜索求最佳步长，使得相邻两次迭代的搜索方向总是垂直的，使得逼近极小点过程是“之”字形，这样从任何一个初始点开始，都可以很快到达极小点附近，但是越靠近极小点步长越小，移动越慢，导致最速下降法的收敛速度很慢。 实际运用中，在可行的计算时间内可能得不到需要的结果。 对正定二次函数，用最速下降法