05 第三章 第五节多维无约束优化问题.pdfVIP

§3.5 多维无约束优化问题 无约束极值问题可简单表述为： 只有非线性目标函数式，无约束条件且变量多于1个 minf (X)，X En （n维欧氏空间） X (k+1)=X (k)+p (k)且满足 f [X (k+1)]f [X (k)] 这样逐步迭代直至满足精度条件。 求解非线性规划问题的迭代法，关键是如何求出每步的搜索方向p (k)及 步长。由于确定p (k)及的途径不同，从而导致不同的寻优方法。其中 可分两大类，一类称为 “解析法”，另一类称为 “直接法”。通常， “直接法”速度较慢，但由于不用函数导数值，使得十分复杂的函数 极值问题可得到解决。 §3.5 多维无约束优化问题 求解方法 ： 解析法 直接法 梯度法 （最优梯度法、最速下降法） 坐标轮换法 （变量轮换法、交替法） 共轭梯度法 模式搜索法 （步长加速法、胡克－基 牛顿法 夫斯法） 拟牛顿法 （变尺度法） 解析法（代数法）：通过计算f(x)的一阶、二阶导数及 函数的解析性质来实现极值的求解。 直接法 ：不用计算f(x)的一阶、二阶导数来实现近似极 值的求解方法。 f(x ,x ) 1 2 定义: x 2 x 2 f (x ,x ) 1  2 1 2 2 2 a a 1 2 点集{ x E n |f(x)=c ，c为常数} x2 为目标函数f(x) 的等高（值）线。 等值线 性质： x1 1、具有不同值的等高（值）线不相交； 2、等高（值）线稠密处，函数变化快； 等高（值）线稀疏处，函数变化慢； 3、在极小点附近，等高(值)线近似为一簇同心的椭圆； 4、在等高(值)线上任一点处的切线方向一定与该点的梯度 方向垂直。 §3.5 多维无约束优化问题 一、梯度法（最速下降法） 二、牛顿法 三、拟牛顿法（变尺度法、DFP法） 一、梯度法（最速下降法） 解题过程涉及到求目标函数的梯度f (x (k ) )  及采用一维搜索法求最优步长 ,从而构造 k 变量迭代式： X (k 1) X (k )  f (x (k ) ) k X (k ) X (k 1) 其中 为起点， 为搜索点，  f (x (k ) )