共轭方向-共轭方向-(精选·公开·课件).pptVIP

共轭方向 共轭方向 1.共轭方向的概念 2.共轭向量的概念 3.共轭向量的几何意义和性质 共轭方向的定义 2. 共轭向量的概念 3. 共轭方向的几何意义 3. 共轭方向的几何意义 3. 共轭方向的几何意义 3. 共轭方向的几何意义 4. 共轭方向在最优化问题中的应用 4. 共轭方向在最优化问题中的应用 例题 例题 例题 例题 5. 共轭方向的几个性质 * * 设 A 为 n×n 阶实对称正定矩阵，如果有两个 n 维 非零向量 S1 和 S2，满足： 则称向量 S1 和 S2 对于矩阵 A 共轭，S1和S2称之为共轭方向。 若A为单位矩阵，则两个向量是什么关系？ 共轭是正交的推广 若有一组非零向量S1，S2，…，Sn，满足： 则称向量系 Si (i=1, 2…, n) 称为矩阵 A的共轭向量系 注：若A=I，则向量系 Si (i=1, 2…, n) 称为正交向量系。 共轭方向是指若干个方向矢量组成的方向组，各方向具有某种共同的性质，他们之间存在着特定的关系。 首先以二元二次正定函数为例说明共轭方向概念，设函数 式中 2*2阶对称 正定矩阵 由于A矩阵对称正定，所以等值线为一组椭圆，如下图 按任意给定的方向 S1，做 F(x)=F1 与 F(x)=F2 两条等值线的切线，两切线互为平行，切点为 x(1) , x(2) 。连接两切点构成新的矢量: 函数 F(x) 在两点处的梯度分别为 按梯度的特性，梯度是等值线的法矢量，所以x(1) ，x(2)点的梯度必须与矢量 S1 相垂直，因正交矢量点积为 0，故有： 或 故有 同心椭圆簇的几何性质：任意做两条平行线，与椭圆组中的两椭圆切于点 x(1)，x(2) 。该两点必通过椭圆的中心；或者说，过椭圆中心做任意直线与任意两个椭圆相交，通过交点作椭圆切线必互相平行。 切线的方向S1与两切点连线的方向S2，就是一对共轭方向。 正定二次二元函数，经过两次共轭方向搜索，就可搜到极小点 为简化，设目标函数为二次齐次函数，等值线中心在坐标原点 展开 函数值分别为d1，d2的两条等值线Ⅰ，Ⅱ，方程为： 等值线任意点切线斜率为 ，可对上式求导而得， 则切线斜率为 过点 , 椭圆切线斜率分别记为 k1，k2 则有： 当所引的两条直线平行，且切于等值线（椭圆)于点x(1)，x(2) ，则该两条切线斜率相等， k1 = k2 ，即 ④ 分别将切点x(1) 、x(2) 与坐标原点相连接，两直线Ox1，Ox2的斜率分别记为 如果有 ，说明两点连线必通过坐标原点O（椭圆中心），将式④写成 或 将上式展开整理后得 由于函数F(x1，x2)是二次齐次函数，图形为椭圆，所以 ，则必有 。 由此证明得出，点x(1)，x(2) 连线必定通过椭圆中心点O。 若在切于椭圆的直线上取方向S1，连接两个切点x(1)，x(2) 为方向S2，则S1，S2为共轭方向。如果从某任意初始点出发，依次沿方向S1，S2做两次一维搜索，即可达到椭圆中心——此函数F(x)的极小点 对于一般的二元二次正定函数数 ，按其共轭方向进行两次搜索也必定达到函数的极小点。此情况目标函数等值线仍是椭圆，但其中心不在坐标原点 二次收敛性是指一种算法，如果对于二次正定函数，从理论上只要进行有限次一维搜索，就可以达到理论极小点，把这种算法称为具有二阶收敛性（二次收敛性）或有限步收敛法。 对于一般的 n 元二次正定函数 F(x)，依次按共轭矢量系(S1，S2，…。Sn) 中各矢量方向进行 n 维一次搜索，就可达到等值线（椭圆）中心——理论极小值点 例题2：设二维目标函数 ，给定方向 S1=e2， 初始点 。求与 S1 相共轭的S2，并求函数的极小点。 解： ⑴ 第一个搜索方向 ⑵ 函数的海塞矩阵 对称正定 可知函数F(x) 为二次正定函数，如果按共轭方向S1，S2，进行两次一维搜索就达到目标函数的极小点x* ⑶ 从 x1(0)点沿 S1 方向求极小点 x(1)，即 沿S1方向 则 ⑷ 任取初始点x2(0) =[1, 1]T，沿S1方向一维搜索求得该方向极小点x(2) ⑸ 求与S1相共轭的方向S2 核验计算 矢量S1与S2为对A矩阵共轭 ⑹ 从 x(1) 点出发，沿 S2 方