最优化读书笔记.doc

一、精确一维搜索下几种共扼梯度法的分析比较 共扼梯度法是求解无 约束昨线性规 划问题的一 种重要方法针对的几种 计算公式,通过几个典型计算实例,对精确一维搜索下 所述 几种 风 的几种计葬公式所决定的葬法的收敛效 果进行比较,分析 了它们 的数值 计算过程、收敛速度及全局收敛性的优劣共扼方向法是求解非线性规划无约束极值问题的一类方法,共扼梯度法是其中最重要的一种。共扼梯度法中的计算公式很多，不同的计算公式所决定的算法的数值计算过程、收敛速度及全局收敛性有所不同。 非线性规划无约束级值问题的数学模型为：。共轭梯度法是逐次利用以为搜索得到的极小点处的梯度方向来生成共轭方向的一种较为有效的共轭方法，是共轭方向法中最重要的一种。用这类方法求解n元二次函数的极小值问题，最多经行n次一维搜就可以求得极值点。由于可微的非二次函数在极小值点附近的性态近似于二次函数，故此类方法也能用于求解可微的非二次函数的无约束极小值问题。 在正定二次函数的极小化过程中，令在点的梯度为，第迭代方向取为为使方向和共轭，必须满足：，即，由此解得，称为共轭系数。从而得到共轭梯度的一般公式： ， 其中是步长，共轭系数是数值。进而，共轭梯度法迭代过程的一般步骤为以下几步： 给定初始点，允许误差 检查是否满足收敛准则，若满足，则停止迭代，极值点；否则进行3； 令，置； 一维搜索：由公式=，求； 令； 检验是否满足收敛准则，若满足，则极值点；否则进行7； 判断是否成立。若成立，则令，返回3；否则（即），计算，并取，令，返回4. 1 共轭梯度法的集中算法 1.1 PRP算法 PRP算法（polak-ribiere-polyak）是由Polak、Ribiere、Polyak在1969年独立提出的一种非线性共轭梯度法，PRP法是目前认为数值表现最好的共轭梯度法之一，该方法具有如下形式：, 其中，参数的计算公式为： 1.2 FR算法 FR算法（flectcher-reeves）是最早的非线性共轭梯度法，它是由Fletcher和Reeves于1964年将求解线性方程的共轭梯度法推广得来的。这种方法的形式如下： , 其中参数的计算公式为：。 1.3 共轭下降法 1987年Fletcher引入共轭下降（即CD法）。求解无约束规划问题的共轭下降法具体如下形式：, 其中参数的计算公式为：。 1.4 HS法 求解无约束规划问题额HS法的形式为： 其中参数的计算公式为：。 与PRP方法相比，HS法德一个重要性质是：不论线搜索是否精确，共轭关系式总是成立，而HS方法的理论性质表现与PRP方法很类似。 1,5 Dal-Yuan算法 Dai和Yuan在1995年提出该算法，其形式为： 其中参数的计算公式为： FR方法的数值计算过程不是十分理想，迭代时可能产生小步长而导致收敛速度较慢；PRP方法是迭代效果最好的非线性共轭梯度法之一，收敛速度较快；HS方法在计算过程中的收敛效果与PRP方法较为类似；CD方法在计算过程中的收敛表现与FR方法相差不是很大；DY方法的全局收敛性较好，对于严格凸函数，其收敛效果明显优于其它的算法，但是大多数情况下其收敛效果与FR方法较为类似。 二、基于一维搜索和动态调节的非线性规划 PSO 算法 对非线性规划问题而言，最优解往往靠近约束区域的边界，而距离最优解较近的不可行解携带的可用信息要远比距离最优解较远的可行解携带的信息更重要，因此，在算法的搜索过程中使群体中可行解与不可行解保持一定的比例有助于群体向最优解逼近。因此，我们给出下列适应度函数 其中：N为群体规模，p为当前群体中可行解的个数，和分别为当前群体中可行解得最小值与最大值。那么，由上式的适应度函数，对于群体中的任意两个个体：1）当这两个个体可行时，比较它们的函数值，函数值小的当选。2）当这两个个体可行时，比较它们违反约束的度，违反约束的度函数值小的当选。3）当其中一个可行，另一个不可行时，另一个可行时，比较它们与群体中可行解的最小值的偏离程度，如果群体中包含的可行解比较大，则不可行解被选的概率较大，反之，若群体中包含的不可行解的个数较大，则可行的个体被选的概率增大，这样在选择的时候，可以保持群体中可行解和不可行解的一定比例，进而利用被选的不可行解来增加群体的多样性，使得群体向最优解逼近。 动态一维搜索 利用PSO算法求解非线性规划问题，一方面，要考虑如何处理和利用约束条件的信息。使得算法更好、更快的向最优解靠拢。另一方面，如何使PSO算法跳出局部最优区域，继续寻找全局最优解，设计如下的一种动态一维搜索技术： 情形1 如果，则沿该点目标函数的负梯度方向在上做一维不精确搜索，这样的搜索的结果可使点x向可行域D靠近或进入可行域D。 这里：是搜索梯度方向权重，且 ， 为大于等于1的自然数。