优化资料.docxVIP

1 局部极值与全局极值：设f（X）为定义在n维欧式空间En的某一区域R上的n元实函数，其中X=（x1，x2，…，xn）T。对于X*∈R，如果存在某个ε0，使所有与X*的距离小于ε的X∈R均满足不等式f（X）≥f（X*），则称X*为f（X）在R上的局部极小点，f（X*）为局部极小值。若点X*∈R，而对于所有X∈R都有f（X）≥f（X*），则称X*为f（X）在R上的全局极小点，f（X*）为全局极小值。2 极值点存在条件：必要条件：点X*∈R，且在该点取得局部极值，则有函数f（X）在X*处的梯度为零。▽f（X）的方向为f（X）的等值面的法线方向，沿这个方向喊数值增加最快。充分条件：f（X）在R上具有二阶连续偏导数，X*∈R，若▽f（X*）=0，且对任何非零向量Z∈En有：ZTH（X*）Z0，则X*为f（X*）的严格局部极小点。即海塞矩阵在X*处正定3 凸凹函数的凸性、凹性判断：凸函数性质：有限个凸函数的非负线性组合仍为凸函数凸性判定：一阶条件二阶条件：f（X*）的海塞矩阵H（X）在R上处处半正定4 凸规划定义、性质：定义：对于非线性规划假定其中为凸函数，为凹函数，则这样的非线性规划称为凸规划。性质：凸规划的可行域为凸集，其局部最优解即为全局最优解，而且其最优解的集合形成一凸集。当凸规划的目标函数为严格凸函数时，其最优解必定唯一（当最优解存在时），凸规划的最优点存在的充分必要条件是库恩-塔克条件。5 下降迭代算法思想：基本思想：为了求函数f（x）的最优解，首先给定一个初始估计X(0),然后按某种规则（即算法）找出比X(0)更好的解X(1),再按此种规则找出比X(1)更好的解X（2），…，如此即可得到一个解的序列｛X(k)｝，若这个解序列有极限X*，即：，则称它收敛于。终止迭代的绝对准则：①据相继两次迭代的绝对误差：②根据相继两次迭代的相对误差：③根据目标函数梯度的模足够小： 其中为事先给定的足够小的正数。6 一维搜索两种算法比较：斐波那契法（分数法）：如果用Fn表示计算n个函数值能缩短为单位区间的最大原区间长度，则F0=F1=1，Fn=Fn-1+Fn-2，计算n次函数值所能获得的最大缩短率为1/Fn，而Fn≥1/δ,δ为区间缩短的相对精度。η为绝对精度，η=（b0-a0）δ。0．618法（黄金分割法）：用不变的区间缩短率0．618代替斐波那契法每次不同的缩短率，计算n个试点的函数值可以把原区间[a0，b0]连续缩短n-1次，最后区间长度为：（b0-a0）μn-1，0．618法是一种等速对称进行试探的方法，通俗的说是斐波那契法的偷懒算法。7 梯度法的思想和过程以及缺点、改进方法：基本原理：假定无约束极值问题的目标函数f(X)有一阶连续偏导，具有极小点X*。以X(k)表示极小点的第k次近似，为了求其第k+1次近似点X(k+1)，我们在X(k)点沿方向P(k)做射线，得：X= X(k)+ λP(k) （λ≥0）。现将f(X)在X(k)处展开成泰勒级数 f(X)=f(X(k)+ λP(k))=f(X(k))+λ+，其中，对于充分小的λ，只要0，即可保证f(X(k)+ λP(k)) f(X(k))。这时若取 X(k+1)=X(k)+λP(k) 就能使目标函数得到改善。计算步骤：（1）给定初始近似点X(0)及精度ε0，若《ε，则X(0)即为近似极小点。（2）若＞ε，求步长λ0，并计算 X(1)=X(0)- λ0求步长可用一维搜索法，微分法或试算法。若求最佳步长，则应使用前两种方法。（3）一般地，设已迭代到点X(k)，若《ε，则X(k)，即为所求的近似解；若＞ε，则求步长λk,并确定下一个近似点 X(k+1)=X(k)—λk，继续直至达到要求精度。其中近似最佳步长缺点以及改进方法：由于负梯度方向的最速下降性，容易使人们认为负梯度方向是理想的搜索方向，最速下降法是一种理想的极小化方法。必须指出，X点处的负梯度方向仅在X点附近才具有这种“最速下降”的性质，而对于整个极小化过程来说，就不适用。因此，在实用中，常将梯度法和其他方法联合起来应用，在前期使用梯度法，而在接近极小点时，则是用收敛较快的其他方法。8 变尺度法算法思想：基本原理：假定无约束极值问题的目标函数具有二阶连续偏导数，X(k)为其极小点的某一近似。在这个点附近取的二阶泰勒多项式逼近，则梯度为，这个近似函数的极小点满足，从而，其中为在点的海赛矩阵。当不是二次函数时，人们长取为搜索方向。优缺点：牛顿法的收敛速度很快，当的二阶导数及其海赛矩阵的逆阵便于计算时，使用这一方法非常有效。问题在于，实际问题中的目标函数往往相当复杂，计算二阶导数的工作量或者太大，或者根本不可能。况且，在X的维数很高时，计算逆阵也相当费事。9 步长加速法特点：易于编制计算机程序，且具有追寻谷线加速移向最优