基于PSO算法的BP神经网络研究.pdfVIP

＼ ： 基于 PSO算法的BP神经网络研究★ 杜华英 (惠州旅游学校信息技术部，惠州 516057) 摘 要：BP神经网络由于可以根据误差的反向传播 来纠正权值和阈值 ．但它有可能陷入局部极 小，不能确保收敛到全局极小点。反向传播训练次数 多，收敛速度慢 ，使 学习结果有时不 能令人 满意。如果 用均方误差指标作 为适应值的粒子群算法对 BP网络的权值进行训 练 ，会得到较快 的收敛速度 ，而且可 以避免局部最值 的出现 。 关键词：神经网络 ；BP网络；PSO优化算法 ；均方差 0 引 言 Xi(t+1)=Xii(t)+Vi(t+1) (2) tad,(t)=∞ —t((．)mrc)‘)／t (3) 粒子群优化算法 (Partic1eSwarmOptimizer．PSO) 是一种进化计算技术 ，源于对鸟群捕食的行为研究 ． 其中，j=l，2，…，d；参数cl和c2是学习率，称为加 由Jim Kennedy于 1995年提 出并成功用 于函数优 速因子 ；rand0为 0【，1]范围内变化的随机数 ；t为迭代 化。在 PSO中，每个优化问题的解都是搜索空问中的 次数 ，t一 为最大迭代次数 ；(1)一为最小惯性权 ，(1)～为 一 只鸟 ，称之为粒子。所有 的粒子都有一个 由被优化 最大惯性权 的函数决定 的适应值 (FitnessValue)．每个粒 子还有 2 BP神经网络 一 个速度决定它们飞翔的方向和距离．然后粒子们就 BP模型是一种用于前向多层神经网络的误差反 追随当前的最优粒子在解空间中搜索 如果用粒子群 向传播学 习算法 ．由鲁梅尔哈特fD．Ruv1TIelhar)和麦克 算法对神经 网络的权值进行训练 ．会得到较快的收敛 莱伦德 (McClelland)T 1985年提出 B—P算法用于多 速度 ．而且可以避免局部最值 的出现 层网络 ，网络中不仅有输入层节点及输出层节点 ．而 1 PSO算法 且还有一层至多层隐层节点 图 1所示模型是只有一 PSO算法 l【-引首先初始化一群随机粒子．然后通过 层隐层节点的BP网络 迭代找出最优解 。每一次迭代过程中，粒子通过跟踪 两个 “极值”来更新 自己 一个是粒子本身所能找到的 最优解 ，即个体极值 Pbest．另一个是整个群体 目前 找到的最优解．即全局极值 Gbest 假设在一个 D维搜索空间中有 n个粒子组成一 粒子群。其 中第 i个粒 子的空 间位置为 XI_(X X ， … X；。)，i-1，2，…，n。第 i个粒子所经历的