常用非数值并行算法介绍.docVIP

并行算法根据对象的不同分为数值并行算法和非数值并行算法两种。 多项式与线性代数方程组，矩阵与非线性方程，插值、逼近及其应用，数字信号处理，小波变换，快速傅利耶变换等内容属于数值算法。非数值算法一般包括线性表、栈、队列和串，树，图，排序、查找与文件操作，并行算法等，主要是为符号运算而设计的并行算法。 常用的非数值并行算法有模拟退火算法、遗传算法、神经网络算法等。 一、模拟退火算法 模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。根据Metropolis准则，粒子在温度T时趋于平衡的概率为e-ΔE/(kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。退火过程由冷却进度表(Cooling Schedule)控制，包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。 1、模拟退火算法可以分解为解空间、目标函数和初始解三部分。 　　A、解空间： 　　它为问题的所有可能(可行的或包括不可行的)解的集合，它限定了初始解选取和新解产生时的范围。对无约束的优化问题，任一可能解(possible solution)即为一可行解(feasible solution)，因此解空间就是所有可行解的集合；而在许多组合优化问题中，一个解除满足目标函数最优的要求外，还必须满足一组约束(constraint)，因此在解集中可能包含一些不可行解(infeasible so1ution)。为此，可以限定解空间仅为所有可行解的集合，即在构造解时就考虑到对解的约束；也可允许解空间包含不可行解，而在目标函数中加上所谓罚函数(penalty function)以“惩罚”不可行解的出现。 　　B、目标函数： 　　它是对问题的优化目标的数学描述，通常表述为若干优化目标的一个和式。目标函数的选取必须正确体现对问题的整体优化要求。例如，如上所述，当解空间包含不可行解时，目标函数中应包含对不可行解的罚函数项，借此将一个有约束的优化问题转化为无约束的优化问题。一般地，目标函数值不一定就是问题的优化目标值，但其对应关系应是显明的。此外，目标函数式应当是易于计算的，这将有利于在优化过程中简化目标函数差的计算以提高算法的效率。 　　C、初始解： 　　是算法迭代的起点，试验表明，模拟退火算法是鲁棒的(Robust)，即最终解的求得几乎不依赖于初始解的选取。 2、基本思想： 　　(1) 初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)， 每个T值的迭代次数L 　　(2) 对k=1，……，L做第(3)至第6步： 　　(3) 产生新解S′ 　　(4) 计算增量Δt′=C(S′)-C(S)，其中C(S)为评价函数 　　(5) 若Δt′0则接受S′作为新的当前解，否则以概率exp(-Δt′/T)接受S′作为新的当前解. 　　(6) 如果满足终止条件则输出当前解作为最优解，结束程序。 终止条件通常取为连续若干个新解都没有被接受时终止算法。 　　(7) T逐渐减少，且T-0，然后转第2步。 二、遗传算法 遗传算法的基本思想是基于Darwin进化论和Mendel的遗传学说的。 Darwin进化论最重要的是适者生存原理。它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代所继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些熊适应环境的个体特征方能保留下来。 Mendel遗传学说最重要的是基因遗传原理。它认为遗传以密码方式存在细胞中，并以基因形式包含在染色体内。每个基因有特殊的位置并控制某种特殊性质；所以，每个基因产生的个体对环境具有某种适应性。基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。 遗传算法简称GA(Genetic Algorithm)，在本质上是一种不依赖具体问题的直接搜索方法。 1、遗传算法的原理 遗传算法GA把问题的解表示成“染色体”，在算法中也即是以二进制编码的串。并且，在执行遗传算法之前，给出一群“染色体”，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交叉，变