数学原理与模型分析-最优化基础.pptVIP

1- 多元函数及其微分 [定义1.1]如果多元连续函数 在 对于 x的各个分量的偏导数 都存在，则称函数 在x处一阶可导，并称向量 为函数在x处的一阶导数或梯度（Gradient） 1-多元函数及其微分 [定义1.4]如果多元连续函数 在 对于x的各个分量的二阶偏导数 都存在，则称函数 在x处二阶可导，并称 矩阵 为函数 在x处的二阶导数矩阵或海森矩阵（Hesse Matrix）。 1-多元函数及其微分 [定义1.5] 如果多元连续函数 在 对于x的各个分量的二阶偏导数 都存在且连续，则称函数 在x处二次连续可微。如果函数 在开集 中的每一点都二次连续可微，则称函数 在D中二次连续可微，记作 。 显然，如果 二次连续可微，则有 从而 是一个对称矩阵。 1- 多元函数及其微分 [例1]设 是对称矩阵，向量 ， ，求二次函数 在任意点处的梯度和海森矩阵。 [解]梯度为 ； 海森矩阵为 。 第3-3-2节 共轭梯度法 [例2]求解 取初始点为 2-最优解的定义 [定义1.36]设 ， （1）若对任意的 ，都有 ，则称 为优化问题的全局最优解（极小点）。 （2）若对任意的 ， ，都有 ，则称 为优化问题的严格全局（整体）最优解（极小点）。 2-最优解的定义 [定义1.37] 设 ，若存在 的一个 邻域 ，使得： （1） ，则称 为最优化问题的局部最优解（极小点）。 （2） ，则称 为最优化问题的严格局部最优解（极小点）。 2-最优解的定义 几点说明： （1）显然，全局最优解也是局部最优解。反之不然。 （2）本课讨论的求解最优解一般均指局部最优解。 （a）人们在实际计算时往往关心的是全局最优解，但到目前为止，现有的在理论上成熟并且经过计算实践检验的算法，只能近似地求出局部最优解，而非全局最优解。 （b）对于一般的寻求全局最优解的问题，通常采用的做法是先求出全部局部最优解，然后选择最优值最小的那个解作为全局最优解。 （c）在很多实际应用中，求解局部最优解已经满足了问题的要求。 （3）仅当研究的问题具有某种凸性时，局部最优解才是全局最优解。 第1.4.2节 无约束问题的最优性条件 [定理1.41]（一阶必要条件）设f在开集D上连续可微，若 是无约束最优化问题（*）的局部极小点，则 。 [定理1.42]（二阶必要性条件）设f在开集D上二阶连续可微，若 是无约束最优化问题（*）的局部极小点，则 ，并且 为半正定矩阵。 [定理1.43]（二阶充分条件）设f在开集D上二阶连续可微，若 ， 为正定矩阵，则 是最优化问题的严格局部极小点。 3-最优化方法概述 最优化方法通常采用迭代方法求解其最优解，其基本思想是：给定一个初始点 按照某个迭代规则产生一个迭代点列 ， 使得：当 是有穷点列时，它的