无约束优化方法.pptxVIP

第四章 无约束优化方法;解析法(间接解法);;第二节 最速下降法;由此可知，在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。;例4-1 求目标函数;;作业;第三节牛顿型方法;第三节牛顿型方法;4.3.2 阻尼牛顿法 牛顿法的缺陷是，在确定极值点的过程中，并不含有沿下降方向搜索的概念。因此对于非二次型函数，在迭代过程中，可能出现; ;阻尼牛顿法程序框图 ; 以上介绍的最速下降法及牛顿法或者阻尼牛顿法，属于经典的数学方法。 显然在这些方法中要用到某点函数的一阶梯度，二阶梯度等信息，同时对牛顿法还要用到逆矩阵的计算等。当变量维数较高时，计算工作量相当大，影响计算速度。 理论上，牛顿法的收敛速度高于最速下降法。从以上二种经典方法中，人们不断努力，发掘，提出了不同的改进方法。 ;第四节共轭方向及共轭方向法;1 共轭方向 定义1：设G为 阶实对称正定矩阵，而 为在n维欧氏空间中的两个非零向量，如果满足式： 则称向量 关于实对称正定矩阵G 是共轭的，或简称 与 关于G 共轭;如果按最速下降法，选择负梯度方向为搜索方向，会产生锯齿现象。;应满足什么条件？;三、共轭方向法;共轭方向法程序框图;第五节 共轭梯度法;得出共轭方向与梯度之间的关系。此式表明沿方向;图4-9 共轭梯度法的几何说明;;第六节 坐标轮换法;4.6.1 坐标轮换法的搜索过程及方向向量取法;2. 搜索方向与步长的确定;3.搜索步长的确定;;4 . 坐标轮换法存在的问题;第七节 鲍威尔法Powell;;4.7.2 鲍威尔法的基本算法 ;二、基本算法;三、改进的算法;; 单纯形法:通过计算单纯形顶点的函数值并加以比较，找到一个较好的点组成新的单纯形。不断地向极小点靠近。 属于直接寻优方法类，仅需要目标函数值信息。;4.8.1单纯形法基本原理 ;以上说明，可以通过反射、扩张、收缩、缩边方式得到一个新的单纯型，其中至少有一个顶点的函数值比原单纯形要小。;第九节变尺度法;一、尺度矩阵的概念;则在新的坐标系中，函数的二次项变为;说明二次函数矩阵G的逆矩阵，可以???过尺度变换矩阵Q 求得。;;解析法(间接解法);由此可知，在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。;第四节共轭方向及共轭方向法;1 共轭方向 定义1：设G为 阶实对称正定矩阵，而 为在n维欧氏空间中的两个非零向量，如果满足式： 则称向量 关于实对称正定矩阵G 是共轭的，或简称 与 关于G 共轭;共轭方向法程序框图;3.搜索步长的确定;第九节变尺度法