第八章数值优化.ppt

牛顿方法原理 由单变量函数的二次逼近求极小值的方法推广而得，以有N个独立变量的二次多项式的极小值来近似代替目标函数f的极小值 对有N个独立变量的函数z=f (x1,x2,…,xN)而言，从初始点P0开始，递归构造出一个含N个变量的二次多项式序列 如果目标函数是良态的，并且初始点在实际极小值附近，则该二次多项式的极小值序列将收敛到目标函数f的极小值 黑森（Hessian）矩阵 定义8.5 设z=f(X)是X的函数，对于i, j=1, 2, ..., N, 存在。f 在X处的黑森矩阵是一个N×N矩阵 其中， i, j=1, 2, ..., N 例8.10 二阶泰勒多项式 定义8.6 f(X)在中心A处的二阶泰勒多项式为 设z=f (x1,x2,…,xN)的一阶和二阶偏导数存在，并在包含P0的一个区间内连续，f 在点P处有极小值。则 f 在P0的泰勒展开为 Q(X)是一个N变量的二阶多项式，它可能在▽Q(X)=0有极小值 由▽Q(X)=0得▽f(P0)+(X-P0)(H f(P0))T=0 若P0在点P（f的极小值点）附近，则H f(P0)可逆，则可求得X=P0 -▽f(P0)((H f(P0))-1) T 用P1代替上式中的X，得P1=P0-▽f(P0)((H f(P0))-1) T 上式中，用Pk-1代替P0，Pk代替P1，得 Pk=Pk-1-▽f(Pk-1)((H f(Pk-1))-1) T 上式建立了一个迭代关系式，由此迭代关系式可生成点序列{Pk}(k=0,1,2,...) 但算法中涉及到矩阵求逆的运算，理论上虽然可行，实际上用它进行计算则效率很低 改进的牛顿方法概要 设Pk已知 计算搜索方向Sk=-▽f(Pk-1)((H f(Pk-1))-1) T 在区间[0, b]上对Φ(γ)=f(Pk+γSk)进行单变量极小化，b为较大值。得到值γ=hmin它是Φ(γ)的极小值点。关系式Φ(hmin)=f(Pk+hminSk)表明，它是f(X)沿搜索线X=Pk+hminSk的一个极小值 构造下一点，Pk+1=Pk+hminSk 进行终止条件测试，即函数值f(Pk)和f(Pk+1)是否足够相近，距离||Pk+1-Pk||是否足够小？ 重复上述过程 无约束优化方法——直接法总结 1 Nelder-Mead法（单纯形法） 思路清楚，收敛慢 2 坐标轮换法 计算效率较低 适合维数较低，目标函数无导数或导数较难求得 3 Powell法 具有二次收敛性，收敛速度较快，可靠性高，被认为是直接法中最有效的方法之一 无约束优化方法——间接法总结 1 梯度法 方向： 负梯度，用到一阶导数 适合于精度不高或用于复杂函数寻找一个好的初始点 2 牛顿法 用到一阶导数和海色矩阵，具有二次收敛性 要求海色矩阵非奇异，且维数不宜太高 多元函数求极值的问题 设函数f(x1,x2,…,xN)定义在区域 上。如果f (p1,p2,…,pN)≤ f (x1,x2,…,xN)对所有的点(x1,x2,…,xN)∈R都成立，则函数f (x1,x2,…,xN)在点(p1,p2,…,pN) 处有局部极小值； 如果f (p1,p2,…,pN)≥ f (x1,x2,…,xN)对所有的点(x1,x2,…,xN)∈R都成立，则函数f (x1,x2,…,xN)在点(p1,p2,…,pN) 处有局部极大值。 二元函数的极小值问题 二元函数的图形是一个几何表面 定理8.5（二阶偏导数测试）设f(x,y)及其一阶和二阶偏导数在区域R上连续。设点(p,q) ∈R是一个临界点，即fx(p,q)=0且fy(p,q)=0。可用高阶偏导数来确定临界点的属性。 若 且 fxx(p,q)0， 则 f (p,q)是 f 的局部极小值。 若 且 fxx(p,q)0， 则 f (p,q)是 f 的局部极大值。 若 ，则f (x,y)在 (p,q)没有局部极值。 若 ，则结果不确定。 例8.5 多元函数的直接搜索法 多变量目标函数f(x1,x2,…,xN)的极值直接搜索法对函数的可微性不作显性或隐性的假设 对非光滑（不可微）目标函数而言，直接方法特别有用 内德－米德方法和鲍威尔方法 单纯形方法的基本思想 内德和米德提出了单纯形法，可用于求解多变量函数的局部极小值 从可行域中的一个基本可行解出发，