3、第3章优化方法的数学基础1.pptVIP

2、一阶导数和方向导数 3、 梯度 目的：判断函数在给定点X(0) 处沿哪个方向的变化率 最大。 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 3.6 凸函数 每次迭代所得新点的目标函数均应满足函数值下降的要求： 4、迭代终止准则 （3）目标函数梯度准则 在中间过程中每一步的迭代形式为： X（k）——称第k步迭代点，亦为第k步设计方案； a（k）——第k步迭代计算的步长； S（k）——第k步迭代计算的探索方向。 迭代计算机逐步逼近最优点过程示意图 用迭代法逐步逼近最优点的搜索过程如图所示。 （1）选择搜索方向 （2）确定步长因子 （3）给定收敛准则 收敛： 迭代法要解决的问题： 3.4 函数的二阶导数矩阵（Hessian,海森矩阵） 二阶 偏导数 Hessian,海森矩阵 称为函数 在点 处的Hessian矩阵。 例1：求目标函数f（X）= 的梯度和Hessian矩阵。 解： 则 又因为： 故Hessian矩阵为： 3.5 多元函数的泰勒展开式 一元函数的泰勒展开式为： 则多元函数 在 点的泰勒展开式为 例：用泰勒展开将函数 在点 简化成线性函数与二次函数。 解：函数在点 的函数值、梯度和二阶导数矩阵： 简化的线性函数 简化的二次函数 3.6 微分学中求极值 主要内容： 一元函数的极值； 二元函数的极值； 多元函数极值问题。 无约束最优化问题； 等式约束最优化问题； 不等式约束最优化问题； 解决 1、一元函数极值的求法与判别 必要条件： 连续可导， 求驻点 充分条件： 若 则： 时，函数f(x) 取极大值； 时，函数f(x)取极小值； 2、二元函数极值的求法与判别 二元函数的泰勒展开式为： f(x)在 处取得极值的必要条件是: 即在极值点处函数的梯度为二维零向量。 函数的梯度为零的条件仅为必要的，而不是充分的。 只是双曲抛物面的鞍点，而不 例：函数 在 处梯度为 ,但 是极小点。 x2 f(x) f(x)在 处取得极值的充分条件是: 梯度 ， 且Hessian矩阵 正定， 则有极小值； 负定， 则有极大值； 正定的条件： 或记为： 解：1、求驻点。 例题：求函数 的极值 得驻点为： 2、判断是否为极值点。 极值点 函数极值 作业： 3、多元函数的极值 即在极值点处函数的梯度为n维零向量。 必要条件： Hessian矩阵正定，则X*为极小点。 Hessian矩阵负定，则X*为极大点。 充分条件： 函数极值点是局部区域中各点相比较而言的 称 和 分别为局部极小点和局部极小值。 引入函数凸性的目的： 判断所找到的点是否是全域最小点 1、凸性 函数的凸性表现为单峰性。 在 内只存在一个唯一 ，这个极小点也是最小点。 设一元函数 定义在 区间内，若其图形为 如图所示，则 下凸的， 的极小点 这样的函数称为单峰函数， 或具有凸性的函数。 o x f(x) a b x* 2、凸集 设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于D，则称集合D为n维欧氏空间的一个凸集。 （a）是凸集 （b）不是凸集 凸集用数学式表示为: 式中 为由0到1（0≤ ≤1）间的任意实数。 凸集的性质： 1）若D为凸集， 是一个实数，则集合 D仍是凸集； 2）若D和F均为凸集，则其和（或并）仍是凸集； 3）任何一组凸集的积（或交）仍是凸集。 3、凸函数 设 f（X）为定义在n维欧氏空间中的一个凸集D上的函数，如果对任何实数a（0a1）以及D中任意两点X(1)、X(2)恒有: 则f（X）为D上的凸函数，若不满足上式， 则为凹函数。 凸函数的几何意义： 在凸函数曲线上取任意两点（对应于X轴上的坐标X(1)、X（2））联成一直线线段，则该线段上任一点（对应于X轴上的X(k)点）的纵坐标Y值必大于或等于该点（X(k)）处的原函数值f(X(k))。 凸函数的一些性质： 1）若 f（X）为凸集D上的一个凸函数，且 a是一个正数(a0) ,则af(X)也必是在凸集D上的凸函数； 3）若f1(X）,f2(X)为定义在凸集D上的两个凸函数,α和β为两个任意正数，则函数afl(X)+βf2(X)仍为D上的凸函数。 2）定义在凸集D上的两个凸函数f1(X), f2(X)，其和f(X)=f1(X)+f2(X) 亦必为该凸集上的一个凸函数。 4）设 是凸集D上的凸函数