新现代设计方法与应用 教学课件 房亚东 第五章.pptVIP

* 主讲：房亚东 Email:fangyadong@ * 现代设计方法及其应用 西安工业大学机电学院 The Institute of Mechanical and Electrical Engineer, Xian Technological University 在线教务辅导网： 教材其余课件及动画素材请查阅在线教务辅导网 QQ:349134187 或者直接输入下面地址： 第五章 优化方法的数学基础 向量与矩阵的范数 约束问题的最优性条件 3 1 2 方向梯度与导数 4 5 无约束问题的最优性条件 函数的泰勒级数展开 6 凸集、凸函数与凸规划 ■ 内容 ：本章重点讨论优化方法的数学基础，将介绍向量与矩阵的范数。然后介绍了方向梯度与导数、函数的泰勒级数展开，最后介绍无约束问题的最优性条件，并在凸集、凸函数和凸规划的基础上，对约束问题的最优性条件进行了讨论。 ■ 目的 ：了解方向梯度与导数的基本概念，掌握函数泰勒级数展开的方法，熟悉无约束问题和有约束问题最优性条件的判断过程。 向量是既有大小又有方向的量，向量的大小可用某数值表 示，该数值称为范数，记为║x║。 向量范数应满足以下三个特性： （1）正定性：║x║≥0，且║x║=0 = x=0 ； （2）齐次性：║cx║=│c│║x║； （3）三角不等式：║x+y║≤║x║+║y║。 常用的向量范数有： （1）1-范数:║x║1=│x1│+│x2│+…+│xn│； （2）2-范数:║x║2=； （3）∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)； 5.1 向量与矩阵的范数 常用的矩阵范数有： （1）1-范数：║A║1 = max{ ∑|ai1|, ∑|ai2| ,…… ,∑|ain| } （列和范数，A每一列元素绝对值之和的最大值）； （2）2-范数：║A║2 = A的最大奇异值=，其中表示矩阵的最大特征值； （3）∞-范数：║A║∞ = max{∑|a1j|, ∑|a2j| ,..., ∑|amj| } （行和范数，A每一行元素绝对值之和的最大值）。 5.1 向量与矩阵的范数（续） 5.2 方向梯度与导数 α2 α1 O x1 x2 X(0) X(1) Δx1 Δx2 S 图 函数的方向导数 故二元函数的方向导数为： 对于n元函数，其 方向导数定义为： 5.2 方向梯度与导数 （续） 例5-1 设目标函数为，求点处沿S1和S2两个方向的方向导数，其中向量S1的方向：α1=α2=π/4，向量S2的方向：α1=π/6，α2=π/3。 可以推断，函数沿正梯度方向上升最快，沿负梯度方向下降最快，沿与梯度成锐角的方向行进是上升的，沿着与梯度成钝角的方向行进是下降的。 在 例5-2 求目标函数 处的梯度。 例5-3 求上述一般二元二次函数矩阵表达式 的梯度 。 对于一元函数f(x)，设f(x)在开区间(a, b)内具有直到(n+1)阶的导数，x0是区间(a, b)内一点，x是x0附近邻域内的点，则f(x)在x0处的泰勒级数展开为： 5.3 函数的泰勒级数展开 则目标函数可近似表示为： 对于n元函数f(X)= f(x1, x2,…,xn)，设f(X)在X(k)点的某一邻 域内至少二阶连续偏导，则在这一点邻近的泰勒公式展开式可 近似地表示为： 写成矩阵形式： 5.3 函数的泰勒级数展开（续） 例5-4 求上述二元二次函数矩阵表达式的海森矩阵H(X)。 其中 H(X)为f(X)的二阶导数矩阵，称为f(X)的海森（Hessian）矩阵，海森矩阵是一个n×n的对称方阵，常用H(X)表示。 任何一个单值、连续、可微分的不受任何约束的一元函数y=f(x) 在x=x0点处有极值的条件是： （1）必要条件 f (x*)=0，满足上式的点称为驻点，驻点不一定是极值点。 （2）充分条件 若f (x*)0时，驻点成为极小点； 若f (x*)0时，驻点成为极大点； 若驻点不是极值点，f (x*)=0。但不能根据f (x*)=0，来判断驻点是不是极值点，即有时二阶导数对于零，依然为极值点。 5.4 无约束问题的最优性条件 对于n元连续可微函数在某点X*处有极值的条件是： （1）必要条件 5.4 无约束问题的最优性条件（续） （2）充分条件 要使X*为极小点，则在X*邻域内，有f(X)-f(X*)0，故： 要使X*为极大点，则在X*邻域内，有f(X)-f(X*)0，故： 例5-5 求目标函数 的极值和极值点。 5.4 无约束问题的最优性条件（续） 例5-6应用MATLAB编程判断矩阵 的正定性。 （1）凸集 5.5