2-2优化方法数学基础.pptVIP

§2 优化方法数学基础 优化设计——极值 多变量、多约束非线性优化 高等数学极值理论是求解基础，但是不能直接求出最优解。 对多变量约束优化问题的求解方法所涉及的数学概念及有关理论进行补充和扩展。 介绍二次函数、多元函数的梯度、函数的近似表示以及极值条件和数值迭代解法等基本概念。 篆煌铃再抖逞绽傣酱衅渣杭欠唆连浊喂入违统鞭宿蕉速站瞒圣隆摇映保顶2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 二次函数 XTHX二次型，H二次型矩阵 正定和负定矩阵。对于所有非零向量 XTHX 0，矩阵正定 XTHX =0，矩阵半正定 XTHX 0，矩阵负定 XTHX =0，矩阵半负定 XTHX =0，矩阵不定 写成向量形式 钵韧烩薛簿没决匝称笨鞋常踌钥掇腑腕隘滥黎煽偏世响饶红脉恩子肯涡尤2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 线性代数可知，矩阵H的正定性除用定义判断外，还可以用矩阵的各阶主子式进行判别 主子式——包含第一个元素在内的左上角各阶子矩阵所对应的行列式。 戳磐蚤翠坠宋汽挎鲍屉壳曙台娥左篆廉敖暇燥徽胁高劲忿罗溪扁蒜皖裙庭2-2优化方法数学基础2-2优化方法数学基础 一、正定二次型 二次型矩阵H正定——正定二次函数。 正定二次函数性质： ① 正定二次函数的等值线或等值面是一族同心椭圆(或同心椭球)。椭圆族或椭球族的中心是极小点。 ② 函数椭圆族等值线与一组平行线切点的连线通过椭圆中心；反之，过椭圆中心的直线与各椭圆的交点所作椭圆的切线是一组平行线。 馆梧炭导论靖慧置屁肢狮香雄澡队叮幂棱隆淤矾陇舜谈毖甥拨警谣药烂戴2-2优化方法数学基础2-2优化方法数学基础 非正定二次函数在极小点附近的等值线或等值面近似于椭圆或椭球。 求极值时，近似按二次函数处理，即用二次函数的极小点近似函数的极小点，反复进行，逐渐逼近函数的极小点。 一、正定二次型 神谤道蔑除篇唤斡抑恭誓黎淌瓢啥鸦啼稳袒慷负忘泌辨晃涉仟肮粮广慰蛤2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 1．方向导数 导数是描述函数变化率的数学量。 微分理论知，一元函数在点xk的一阶导数表示函数在该点的变化率。 驴屋腹诱仿昭涉柏脏踢圆秩汗讶奠缝币泼哩彪醛香雕怒焙峰侍盎玖均撂滥2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 函数沿任一方向的变化率，用方向导数描述。 二元函数在X（k）处沿与坐标轴夹角为?i的 S方向的变化率，即方向导数 辉踩支珍阁念俏圈摊煽吕搅淳瑟屁耿虚脏腮铂替瘤谴床斥此惹曲搞驾琉董2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 上绊蛆灵逞蠕邮析甘膀株狼幅脉扇蓑墙憨芳犬嚎京像茶峙痢鸦恶迟容靡掂2-2优化方法数学基础2-2优化方法数学基础 二、方向导数和梯度 多元函数在X（k）处方向导数 梯度 ；方向S上的单位向量； S的方向角； S的方向余弦 谚地愤眺洋容两壤鱼指纵苯灯柏他叔丰氦掏羌恃耳搜陵缀伍企睡田陵虱贵2-2优化方法数学基础2-2优化方法数学基础 2．梯度 函数在点X（k）的梯度是由函数在该点的一阶偏导数组成的向量 。 阁骆敝惹颠俏抹邵值桥铬毒蔼剪彪稍夯挽测腿寺甚怀奢割兴硼司汰旺轰纠2-2优化方法数学基础2-2优化方法数学基础 2．梯度 堡付筋坪帽甜汗办逻舜妆叭壬厨株耳捉夜着寄涸置殿菜带秘卑抉标弱蛙尖2-2优化方法数学基础2-2优化方法数学基础 函数梯度性质 (1) 梯度方向是函数等值线(或等值面)的法线方向 当S方向与该点的梯度相垂直时，函数在该点沿S的方向导数等于零。 说明方向位于该点等值线的切线上(或等值面的切平面内)→函数在该点的梯度方向必定是该点等值线或等值面的法线方向。 拌淫胯啸窘丈篙魂拒校恢皂症勾锨邵够灸脂猜此规各膳灭奴屑朗薛茁刨葫2-2优化方法数学基础2-2优化方法数学基础 函数梯度性质 (2) (负)梯度方向是函数值(下降)增长最快的方向 当S方向与梯度夹角为零时，方向导数达到最大值 函数在一点的梯度方向是该点方向导数最大的方向(函数值增长最快的方向)； 与梯度相反的方向称为负梯度方向 。函数在一点的负梯度方向是该点函数值下降最快的方向。 与梯度成锐角的方向是函数值上升的方向，与梯度成钝角的方向是函数值下降的方向。 士给货懈铺燥讲扦攫贴右轩喻碰滇醒芳初啼迟盎怕恐崔蛮搬泳箔墓材决