[教学课件]第4讲非线性规划基本知识.pptVIP

例3：求下列函数的梯度： ① 例3 求目标函数 f（X）= 的梯度和Hesse矩阵。 解： 则 又因为： 故Hesse阵为： （2）局部极值和全局极值 （4）多元函数的泰勒公式 多元函数Taylor展开式在最优化理论中十分重要。许多方法及其收敛性的证明都是从它出发的。下面就给出多元函数Taylor展开式： 给出 极小点的一个初始估计值 4) 计算机迭代时终止计算的准则 （1）黄金分割法：适用于一般的函数。（试探法） （2）Newton切线法：适用于 的一阶导数和二阶导数都可求出的情况。（函数逼近法） 1 搜索区间的确定 定义1：设 ，t*是 在L 上的全局极小点。如果对于L上任取的两点 和 且 均有 ≤t* ，当 ≥t*时， 则称 是区间L上的单谷函数。 以下假设一元函数 是单谷函数。  定义2： ，t*是 在L上的全局极小点。若找到 ,则称此区间 为 的极小点的一个搜索区间，。 单谷函数的性质： 设 是单谷函数极小点的一个搜索区间。在 上任取两点 ，使 ,若 则 是 极小点的一个搜索区间；若 ，则 是 极小点的一个搜索区间。 单谷函数的这一性质可用来将搜索区间无限缩小，以至求到极小点。 本章下面就介绍一维搜索法. 在搜索区间的确定时如何定 步骤： 1 给出初始区间 及精度 ，计算试探点 试探点的公式为： 及函数值 令k=1 2 若 停止计算， 中任意一点均可作为所求极小点的近似。否则当 时转3，当 时转4； 3 置 计算 转5； 4 置 计算 转5； 5 令 k=k+1返回2 * * * * 非线性规划基本概念 （1学时） 一维搜索 （1学时） 重 点：下降迭代算法、黄金分割法、二次插值法。 难 点：下降迭代算法构造 基本要求：了解非线性规划的分类，掌握梯度的计算和性质， 会用海赛阵判断凸规划，掌握用黄金分割法、二次插值法。 第4讲 非线性规划及一维搜索（第3章） 非线性规划基本概念（3.1） 1 非线性规划模型分类 一般无约束极值形式为： 一般有约束极值问题形式为： 例1 在层次分析（Analytic Hierarchy Process, 简记为 AHP）中，为了进行多属性的综合评价，需要确定每个属性的相对重要性，即它们各自的权重。为此，将各属性进行两两比较可得如下判断矩阵： 其中：是第个属性与第个属性的重要性之比。 现需要从判断矩阵求出各属性的权重，为使求出的权重向量在最小二乘意义上能最好地反映判断矩阵的估计，建立数学模型： 有约束极值问题 例2 模型参数识别问题 设已知某问题的数学模型为 试验测得在时刻 时 的值为 试用其估计参数 。 建立问题为的数学模型 采用最小二乘法问题转化为求解 无约束极值问题 2 多元函数的极值问题 （1）梯度及Hesse 矩阵 梯度 Hesse矩阵 解： ② 解： 极小点 局部极小点 全局极小点 严格局部极小点 非严格局部极小点 非严格全局极小点 严格全局极小点 例如：图中一元函数f定义在区间[a b]上 为严格局部极小点， 非严格局部极小点 a为严格全局极小点 凸（凹）函数 定义: 设函数 在凸集 上有定义,如果对任意 和 属于 及任何实数?（ ） 则称 是 上的凸函数. （3）凸函数、凹函数及凸规划 凸（凹）函数二