基于改进粒子群优化算法神经网络设计.docVIP

基于改进粒子群优化算法神经网络设计 　　 (1. 西北工业大学 自动化学院， 西安 710072； 2.陕西工业职业技术学院 工业中心， 陕西 咸阳 712000) 　　?? 　　摘要：借鉴分层递阶结构原理和蚁群算法的思想，提出了一种基于信息素的粒子群算法并用来优化前向神经网络的结构和权值。通过在控制基因中释放信息素进行粒子控制基因的更新，实现了粒子间信息的共享。粒子群的惯性权重采用指数曲线衰减的形式，给每代最差粒子的速度随机加入干扰，克服了标准粒子群算法在寻优时出现的粒子早熟现象。仿真结果表明该算法能快速确定神经网络的结构和权值，表现出良好的收敛性能。 　　?す丶?词：粒子群算法； 蚁群算法； 信息素； 神经网络设计 　　?ぶ型挤掷嗪牛?TP183文献标志码：A 　　文章编号：1001-?B3695(2008)11-?B3343-?B03 　　?? 　　Design of feed forward neural network?? 　　based on improved particle swarm optimizer 　　?? 　　NING Dong-fang??1, ZHANG Wei-guo??1, TIAN Na??2 　　?? 　　(1. College of Automation, Northwestern Polytechnical University, Xi’an 710072, China； 2. Industry Center, Shaanxi Polytechnic Institute, Xianyang Shaanxi 712000, China) 　　?? 　　Abstract:This paper proposed an improved particle swarm optimizer (PSO)which introduced into hierarchical structure theory and ant colony optimization. The new algorithm updated particles’ control gene by releasing pheromone to achieve information sharing between particles. The inertial weight of PSO decreased as exponential curve and added a random disturb in velo-city of the worst particle by far to resolve the premature problem. This new algorithm shows a good performance in optimizing the topology structure and weights of the feedforward neural network synchronously. 　　??Key words：particle swarm optimization; ant colony optimization; pheromone; neural network design 　　?お? 　　粒子群优化（particle swarm optimizer，PSO）是一种新兴的基于群智能方法的进化优化技术[1,2]，其模拟鸟群和鱼群等人工生命系统进行搜索。相比于遗传算法，粒子群优化以其算法简单、容易实现、调节参数少等特点广泛应用于各种优化计算领域[3~8]。特别地，将PSO技术引入到神经网络的设计中，可以克服神经网络的网络拓扑结构确定盲目、学习对参数的初始化敏感、容易陷入局部最优等缺点。R.Mendes等人[3~7]分别采用标准PSO和混合PSO（遗传PSO算法、反向传播PSO算法）来优化神经网络，改善了网络学习精度和学习时间，但它们只是进行了网络的权值优化，没有进行网络拓扑结构的优化。Agrafiotis等人[9]利用二进制PSO进行网络的结构和权值设计；王俊年等人[10]采用多种群协同进化PSO进行径向基神经网络的设计。这些方法都在一定程度上实现了网络结构和权值的并行优化，但其采用的粒子更新方法不能直观反映网络结构与粒子编码之间的关系，并且忽略了粒子群中粒子间信息的共享。?? 　　 基于上述思想，借鉴分层递阶结构原理和蚁群算法的路径选择思想，本文构造了一种改进的递阶结构粒子群算法。在递阶结构的控制因子的更新中引入了蚁群的思想，根据蚂蚁信息素的释放和挥发来更新粒子群的控制因子，并且将改进后的粒子群算法应用于前向神经网络的拓扑结构和权值并行优化中