Lecture-5-6-非线性规划及Matlab实现-修改20111016.pptVIP

第三章非线性规划及Matlab实现华南理工大学模具研究室

非线性规划根本概念及分类当目标函数或约束条件中有一个或多个为非线性函数，那么称这样的规划问题为非线性规划〔NonlinearProgramming〕。其数学模型为：

非线性规划无约束非线性规划约束非线性规划

梯度(gradient)设n元函数f(x)在点x处可微，那么称以下向量为f(x)在点x处的梯度梯度的几何意义：如果函数f(x)在点x处的梯度是非零向量，那么就是f(x)的等值面在点x处的法向量，垂直于等值面在点x处的切平面，且指向f(x)的函数值增大的方向。

Hessian矩阵(HessianMatrix)设n元函数f(x)在点x处二次可微，将f(x)在x点的二阶偏导数按如下组成，那么称是函数f(x)在x点的Hessian矩阵。Hessian矩阵和梯度的内在关系

方向导数(directionderivative)设f(x)在点x处可微，d是给定的非零向量，如果极限：存在，那么称此极限为函数f(x)在点x处沿着方向d的方向导数，记：

下降方向(descentdirection)设d是非零向量，假设存在正数ε0，当t?(0,ε)时，必有：那么称方向d是函数f(x)在点x处的一个下降方向。如果函数f(x)在点x沿着方向d的方向导数满足条件：那么方向d必是函数f(x)在点x处的一个下降方向。负梯度方向称为最速下降方向。参看：节判断是否下降方向的一个简单方法就是看该方向与负梯度方向之间的夹角。

正定矩阵考虑二次型，z为n维向量正定的二次型：假设对于任意，有；半正定的二次型：假设对于任意，有；负定的二次型：假设对于任意，有；半负定的二次型：假设对于任意，有；不定二次型：，有，又，有.二次型为正定的充要条件是它的矩阵的左上角各阶主子式都大于零.矩阵M的所有的特征值λi都是正的。

函数Taylor展开

相关数学根底知识参看：Lecture4MathematicalPreliminaries.pdf

无约束非线性规划最优性条件局部极小点、全局极小点、非光滑的极小点局部极小的条件－极小点的类型

无约束问题的最优性条件无约束极小点的一阶必要条件：设f(x)在点x处可微，假设x是f(x)的无约束局部极小点，那么必有梯度无约束极小点的二阶充分条件：设f(x)在点x处二次可微，假设x是f(x)的无约束局部极小点，那么必有梯度，且f(x)在x处的Hessian矩阵半正定。严格无约束局部极小点充分条件：设f(x)在x处二次可微，假设梯度，且f(x)在x处的Hessian矩阵正定，那么可断言x是严格局部极小点

例：利用极值条件解优化问题

算法及相关概念1、迭代算法集合D上的迭代算法A：〔1〕初始点；〔2〕按照某种规那么A产生下一个迭代点。〔i〕如果点列收敛于最优解，那么称算法A收敛。〔ii〕如果，那么称算法A为下降迭代算法。....

2.下降迭代算法步骤〔1〕给出初始点，令；〔2〕按照某种规那么确定下降搜索方向；〔3〕按照某种规那么确定搜索步长，使得；〔4〕令，；〔5〕判断是否满足停止条件。是那么停止，否那么转第2步。搜索步长确定方法：称。为最优步长，且有

模型算法线性搜索求，新点使x(k+1)∈S初始x(1)∈S,k=1对x(k)点选择下降可行方向d(k)是否满足停机条件？停k=k+1yesno

3.终止条件b.d.a.c.xkxk+1xkxk+1x*

一般而言，线性收敛速度是比较慢的，超线性收敛速度相对较快，而二阶收敛速度那么相当快。如果一个算法具有超线性收敛速度，那么从计算的角度就可以认为是一个比较好的算法那么称的收敛阶为。a.设算法A所得的点列为，如果b.4.收敛速度

单谷函数〔单峰函数〕：设f(t)是定义在区间[a,b]上的一元函数，t*是f(t)在[a,b]上的全局极小点。如果在[a,b]上任取两个点t1t2，当t2≤t*时，必有f(t1)f(t2)；而当t1≥t*时，必有f(t1)f(t2)，那么称f(t)在[a,b]上是一个单谷函数。利用上述定理，可以缩短搜索区间设[a,b]是单谷函数f(t)的一个搜索区间，在[a