最优化方法教案2.docVIP

第3章 无约束最优化方法 无约束最优化问题：， 方法：迭代法 ● 直线搜索： 直线搜索方法：黄金分割法，抛物线插值法，平分法 §3.1 直线搜索 一、黄金分割法 二、平分法 问题：设，，，，并给出精 度.求近似极小点和极小值。 基本原理：在内有极小点,且. 令,若,则在内有极小点,将的右边一半去掉,得新的搜索区间;若,则在内有极小点,将的左边一半去掉,得新的搜索区间。 计算步骤 1．令； 2．若，则转4，否则； 3．计算，若，则转4； 若，则，转1； 若，则，转1； 4．令，停止。 注：若满足条件的尚未得到，则可按以下步骤确定： 首先任取一点，指定步长。 1．计算，若，则，停止； 若，则转4；若，则； 2．令； 3．若，则，停止； 若，则令，，停止； 若，则令，转2； 4．令； 5．若，则，停止； 若，则令，，停止； 若，则令，转4。 例： 三、抛物线插值法 §3.2 最速下降法 最速下降法，又称梯度法。是最古老的一种算法。在每次迭代中，沿最速下降方向进行搜索。迭代公式为： §3.3 牛顿法 设二次函数的最优解存在，用梯度法迭代一次即得最优解：。由极值的必要条件，有 则 若取，则。 推广到一般函数，取 其中，为在处的海色矩阵。 一、牛顿法的基本思想： 在迭代过程中将在点附近按泰勒公式展开，取到二次项 以二次函数的极