天津大学-非线性-无约束规划.pptVIP

第 三 章 无约束非线性最优化方法 1）方向导数 设M0位数量场u=u(M)中的一点,从点M0出发引一 条射线l,在l上点M0的附近取一动点M, 记 如果 时，下列表达式的极限存在 则称之为M0处沿着l方向的方向导数. 记为 当 时, 表示函数u沿l是增加方向, 当 时, 表示函数u沿l是减小方向。 2） 直角坐标系中方向导数的计算公式 定理1. 若函数u=u(x,y,z)在点M0(x0,y0,z0)处可微; 为l的方向余弦, 则函数u在点M0处 沿l方向导数必然存在，且有下面公式计算 其中 是在M0附近的偏导数. 例题1 求函数 在点M(1,0,1)处沿着 方向的方向导数 解: 3)梯度：根据方向导数公式 可以知道 是其变化率最快的方向, 称为 梯度, 记为Grad u. 如果用 表示l线 上的单位矢量, 则方向导数可以写成 梯度的性质： 1) 方向导数等于梯度在该方向的投影.即 2) 数量场u=u(M)中任一点M处的梯度, 垂直于过该点 的等值面, 且指向u(M)增大的一方. 例3 设 为点M(x,y,z)的矢径 的模, 试证 2. 海瑟矩阵 海瑟矩阵是对称形式： 3 非线性规划问题的展开形式 多元函数泰勒公式的矩阵形式： 其中 4 凸集、凸函数和凸规划 1）凸函数 定义: 设集合 S ? Rn 为凸集，函数 f :S?R 若 ? x(1), x(2) ? S, ? ? ( 0 , 1 ) ，均有 f(? x(1)＋(1- ?) x(2) ) ≤?f(x(1))+(1- ?)f(x(2)) ， 则称 f(x) 为凸集 S 上的凸函数。 若进一步有上面不等式以严格不等式成立，则称 f(x) 为凸集 S 上的严格凸函数。 性质: 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为凹函数（严格凹函数）。 2.2 凸集、凸函数和凸规划(续) 定理： f(x) 为凸集 S 上的凸函数? S 上任意有限点的凸组合的函数值不大于各点函数值的凸组合。 思考：设f1, f2是凸函数， 设?1, ?2 0, ?1f1+?2f2 , ?1f1 - ?2f2是否凸函数？ f(x)= max{ f1(x) , f2 (x) } , g(x)= min{ f1(x) , f2 (x) }是否凸函数？ 凸函数与凹函数(续) 凸函数的判定: 如果函数f (X)的Hesse矩阵处 处半正定，则f (X)为凸函数， 若f (X)正定，则f (X) 为严格凸函数。 注: 该命题的逆命题不成立 例题 检验函数 的凸性。 无约束问题的最优性条件 1. 必要条件：若X*是函数f(X)的局部最大点，则在该点必有?f(X*)=0以及Hesse矩阵?2f(X*)半正定 定义: 对于可微函数f(X), 称使其梯度为零向量的点为平稳点（驻点）。 2. 若X*是驻点，则其为极值点的充分条件: 1) 若H(X*)半正定，X*为局部极小点； 若H(X*)正定，X*为孤立局部极小点； 2)若H(X*)半负定，X*为局部极大点； 若H(X*)负定，X*为孤立局部极大点； 3)若H(X*)不定，X*为鞍点；(阅读课本的例题) 6 最优化问题的数值解 VS 解析解 1. 解析解与数值解 注意获得解析解的困难性。 2、收敛性概念： 考虑(fs)设迭代算法产生点列{x(k)} ?S. 1) 算法的理想收敛：设x*∈S是(fs)的最优解，如果x*∈{x(k)}，或者虽然 x(k) ≠ x*， 但是?k，满足 则称算法收敛到最优解 x*。 概念: 1) 局部