计算方法第7章_最化方法简介.docVIP

第七章 最优化方法简介 7.1 最优化问题—— Optimization 可行域： 可行点： 问题的解：——最优解； 线性规划————均为线性函数， 其他一般称为：非线性规划； 其中，若为二次函数，为线性函数——二次规划， 其他如：几何规划、动态规划 etc. 7.2 一维优化方法 对象：， 简化： 为 单峰函数—— 当在上可导，则问题转化为求解方程的问题，这是第5章所讨论的内容。 以下讨论其他方法。 7.2.1 四等分法 等分方法，或分段检验的目的主要是希望能确定解在哪部分内从而可以保留，或者说哪部分可以删去。据此，使保留部分越来越小，获得所需要的结果。 比较：二等分法，三等分法。 如图，显然，二等分法无法确定极小点的位置，因此不能用（这与求方程的解是不同的（比较求最优：，解方程）。 三等分法，考虑分点，可以比较，从图可以看到，极小点必在函数值较小的点左右的区间，因此只需保留该区间，而删去较大点外的部分。因此，新区间与原区间长度之比为；然而下一次，在进行三等分时，（2个）三等分点将全是新点，其函数值需要重新计算。因此，这种方法用计算2个函数值，取得区间的收缩比是。 四等分法：见下图 区间，取四等分点：，比较其函数值，保留以最小值点为中心的左右两个小区间： 记：，若，则保留，并记； 如此重复进行。由于在以后各步，区间的三个四等分点中的中间点的函数值已在前步计算，所以只需计算2个函数值，区间的收缩比例为； 0.618法（） 前面的三等分法，优点是每次只需比较2个函数值，缺点是以前计算过的点的函数值以后没有充分利用，而四等分法的优点就在于以前保留下来的点的函数值在下次比较中又被利用。现在考虑一种方法，区间内只考察2个点的函数值，而保留下来的点的函数值又能在下次数值比较中能被充分利用。如图：分点， 目的：求点方便——对称取点 在候选区间中，对称点保持比例； 注意到 所以 ， 或 ，取正，得 . 收缩率： 7.2.3 插值法——近似函数法： 1、二次插值法 设：，且 插值多项式，令 ， 解得： 若： 则 （） 若： ，则 取 否则：当 取 为新的搜索区间， 当 取 为新的搜索区间； 若不易求得，则取，取以为中心的区间为新的搜索区间； 2、三次插值法： 若可以计算（难解），用构造三次插值多项式，求此多项式的零点： 其中 注：记则 使：有 7.3 无约束优化 7.3.1 基本问题 （可微情况）： 若 在 处可微， 极值必要条件： 充分条件： 极大 ， 极小 一般，N维，梯度： 〈连续对称〉 极值必要条件： 充分条件： 正定→极小， 负定→极大。 7.3.2 梯度法（gradient）的小邻域，设： 则 下降方向应满足：， ——由向量乘积定义——与之夹角 绝对值最大，——最速下降方向。 方法：， 由一维优化确定： 终止判断： 但：方向不最速，例 与该点处切线垂直 [ 切向量：点处切线 ] 修正： 可接受算法——降低要求（简化，减少一维优化工作量）——步长的选取： 2．平行切线法——由图得到启发 若已取得，令, 作为下降方向作一维搜索。 例： 解： 〈事实上， 〉 取作为方向，取 注意：且， 及 在同一直线上， 在同一直线上； 又，若用平行切线法：， 一维优化： 易得： ， 此即极小点； 7.3.3、变尺度算法（Veriable-Metric Algorithm，Quasi-Newton） 一、Newton法 任何二次函数可记为： 从而，； 例如，二元函数 中 事实上，由Taylor展开式 此处，由于为二次函数，其二阶以上偏导数总为0，所以只有这前三项；记，就得前述表示形式。 当正定时 有极小，且极小点为 的解，若用梯度法（最速下降法），在最优点邻近逐次得到的点将发生振荡。因此考虑采用Newton法求解方程寻求最优点： 任取初值，有，由得； 结论：对二次函数，用Newton法求解方程，迭代一步便得到的最优点。 另一方面，对一般的函数，它在处的Taylor展开式： 当 时，可将最后一项略去，从而 即，在的邻近近似于如此形式的二次函数。 根据前前面对于二次函数最优问题求解算法的描述与分析，可以考虑的迭代方法：在处求解“的局部二次化”得到的的极小问题，通过解方程，以寻求的最优点，以此作为求最优点的新的近似，由此逐步迭代生成序列。 由于 因此，解，便得到迭代： （*） 此处称为Newton方向。 然而由于一般不是二次函数，可能出现以下情况： 1）奇异（无法执行此算法），或，即梯度方向与Newton方向正交（此时Newton方向非下降方向），则取负梯度方向为下降的搜索方向：，该步仍采用梯度法； 2）非奇异，但不正定： （此时与最优点较远，否则由正定，在邻近应正定），由此，根据下降方向应