第2章最优化问题数学基础讲解.ppt

第二章 最优化问题数学基础 §2.1 二次型与正定矩阵 用矩阵表示为 其中，矩阵A的元素　　　　正是二次型的 　　项的系数的一半，　是二次型的　项 的系数．因此，二次型和它的矩阵A是相互 唯一决定的，且　　　． 二、正定矩阵 定义2.1 如果二次型 对于任何一组不全为零的数　　　　恒有 则称　　　　　正定，且二次型矩阵A也称为正定． 简言之，一个对称矩阵A如果是正定的，则二次型 　　　　　　　　　　　　　　　　 　　　　　　　　对于所有非零向量X其值总为正．类似可以给出定义，若二次型 则A为半正定矩阵；若　　　　，则A为半负定矩阵；若二次型既不是半正定又不是半负定，就称矩阵A为不定的． 　矩阵A为正定的充要条件是它的行列式的顺序主子式全部大于零，即 由此可见，正定矩阵必然是非奇异的． 例2.1 判断矩阵 是否正定． 解 ∵ ， ∴ A是正定的． 一、方向导数 所谓方向导数的概念是作为偏导数的一个推广而引入，它主要研究函数沿任一给定方向的变化率． 定义2.2 设 在点 处可微，P是固定不变的非零向量， 是方向P上的单位向量，则称极限 (2.1) 为函数 在点 处沿P方向的方向导数，式中 是它的记号． 　　定义2.3 设 是连续函数， ，且 ，若存在 ，当 时都有， 则称P为在点处的下降方 向．若 ，则称P为在点处的上升方向． 由以上两个定义可立刻得到如下的结论： 若 ，则 从 出发在 附近沿P方向是下降；若 ，则从出发在附近沿P方向是上升． 二、梯度 定义2.4 以 的n个偏导数为分量的向量称为 在X处的梯度，记为 ． 梯度也可以称为函数 关于向量 的一阶导数． 以下几个特殊类型函数的梯度公式是常用的： （1）若 （常数），则 ，即 ； （2） ． 证 设 ，则 于是 的第 个分量是 ． 所以 （3） ． （4）若Q是对称矩阵，则 三、梯度与方向导数之间的关系 定理2.1 设 在点 处可微，则 ， 其中 是 方向上的单位向量. 由这个定理容易得到下列结论： (1)若 ，则P的方向是函数在点 处的下降方向； (2) 若 ，则 的方向是函数在点 处的上升方向． 方向导数的正负决定了函数值的升降，而升降的快慢就由它的绝对值大小决定．绝对值越大，升降的速度就越快，即 = ·1· 上式中的等号，当且仅当的方向与的方向相同时才成立． 由此可得如下重要结论(如图2.1所示）： (1)梯度方向是函数值的最速上升方向； (2)函数在与其梯度正交的方向上变化率为零； (3)函数在与其梯度成锐角的方向上是上升的，而在与其梯度成钝角的方向上是下降的； (4)梯度反方向是函数值最速下降方向． 对于一个最优化问题，为了尽快得到最优解，在每一步迭代过程中所选取的搜索方向总是希望它等于或者是靠近于目标函数的负梯度-----图2.1的方向，这样才能使函数值下降的最快． 例2.2 试求目标函数在点处的最速下降方向，并求沿这个方向移动一个单位长后新点的目标函数值． 解 因为 所以最速下降方向是－ = = ． 这个方向上的单位向量是 故新点是