共轭方向法演讲可研报告.ppt

THE END 谢谢！ * * * * * * 共轭方向法 * * 主要内容 一：共轭方向和共轭向量的概念 二：共轭向量的几何意义和性质 三：构造共轭方向法的原理和方法 四：共轭方向法的迭代计算步骤 五：求解非线性方程组的MATLAB程序实现和相关算法的比较 * * ，满足如下关系： 的对称正定阵，则称X和Y关于A共轭。 注：若 若两个非零向量 其中，A为 ， X和Y称之为共轭方向。 ，则称X与Y正交。 共轭是正交的推广。 设A为 对称正定矩阵，若有m个n维向量 满足 则称这m个向量是A的共轭向量。 注： 若 ，则 为正交向量。 一、共轭方向和共轭向量的概念 共轭方向 共轭向量 * * 设从某点 出发，沿 方向进行搜索得到 的极小点 ，有： 设从某点 出发，沿 方向进行搜索得到 的极小点 (1)-(2)，可得： 所以， 与 是关于A共轭的。 (1) (2) （A为n维阶的对称正定阵） 的梯度为： 设目标函数为 ，有： 二、共轭向量的几何意义和性质 * * 共轭方向法算法的构造基于如下几点： （1）n维正定二次函数依次沿n个相互共轭的方向作n次一维优化搜索可达最优点。 （2）二维正定二次函数的等值线为同心椭圆族。 （3）同心椭圆族的任意两平行切线的切点连线方向与该切线的方向，即为共轭方向。 第1点是共轭方向法迭代模式的基础，第2、3点是共轭方向法构造共轭方向的方法依据。对于非二次型的目标函数，由于许多目标函数在极值点附近，都可以用二次函数作很好的近似，所以共轭方向法用于非二次的目标函数也有很好的效果。 相关性质 * * 共轭向量的两个重要性质 性质1. 关于A共轭的向量组必为线性无关，共轭向量组中，共轭向量的个数最多等于维数n （矩阵A的维数为n）。 * * 原理：同心椭圆族的几何性质 在任意两个同心椭圆上作两条相平行的切线l1,l2 ，则两切点的连线必过椭圆族的中心 切线的方向S1与两切点连线的方向S2 ，就是一对共轭方向。 正定二次二元函数(等值线为同心椭圆族)，经两次共轭方向搜索，就可搜索到极小点(椭圆中心)。 * * 方法：以X0(1)为初始点，以S1为搜索方向作一维优化， 再以X0 (2)为起点，用与S1相平行的方向作一维优化，则最优点，是直线l2 与另一椭圆的切点X(2)。 以X(1)为起点，X(2)为终点的向量为：S2 ＝X(2)-X(1)， S2 的方向就是两切点连线的方向，因为l1与l2 平行，因此S1与S2 共轭。 其最优点，就是直线l1与某一椭圆的切点X(1)， * * 构造共轭方向数值方法的归纳 用某一个不变的方向S1, 以两个不同的初始点作两次一维优化，得到两个最优点。 连接这两个最优点的连线方向S2 就是与S1共轭的方向。 对于n维问题，接着以S2 为搜索方向，重复上述步骤就可得到与S2 共轭的方向S3 ， 反复迭代，即可求得n个相互共轭的方向。 * * （1）置SS数组为n 阶单位阵，迭代轮次k＝1。 对于二维问题 (2) i＝1 to n 做n次一维优化搜索，方向S取SS中的第i行数值，即sj＝ssi , j、j=1，…,n。 (3)计算S(k)=Xn(k)-X0 (k)(本轮初始点 ) 以Xn(k)为起点，沿S(k)作一维优化，将其最优点作为X0(k+1)，(下一轮初始点) * * (4) 更新搜索方向向量组SS k=1时： (5) k=k+1，如果k＞n，转步骤(6)，否则转步骤(2) 。 * * (5) k=k+1，如果k＞n，转步骤(6)，否则转步骤(2) 。 (6) 检验终止准则，若满足则退出计算， 若不满足，将当前最优点作为新的初始点，转步骤(1)重新再进行新的n次共轭方向的搜索计算。 * * 五、求解非线性方程组的MATLAB程序实现和相关算法的比较 迭代形式为 其中， 在共轭方向法中， * * 求解非线性方程组的MATLAB程序实现 整个计算流程为: 在MATLAB中没有专门的函数实现共轭方向法求解非线性方程组，可以通过自定义 F_ReevesGroundfun.m 函数实现共轭方向法。 * * 共轭方向法和阻 尼牛顿法 的比较 牛顿阻尼法需要计算Hesse矩阵计算量很大，计算量很大。 最速下降法有锯齿现像，收敛速度很慢，同一种非线性方程，最速下降法的迭代次数是共轭方向法的30多倍（见下面实例） 共轭方向法和 最速下降法的比较 算法比较 而且Hesse矩阵可能奇异，或者接近奇异；即使该矩阵是可逆的，它也未必是正定矩阵。此时，导出的牛顿法迭代格式的二次函数不一定有极小点，甚至没有驻点。 * * function [r,n] = FastDownGroudfun(F,x0,h,eps) %