一种基于粒子群优化的极限学习机.pdfVIP

第45卷第1期 郑州大学学报(理学版) V01．45No．1 2013年3月 Univ．(Nat．Sci．Ed．) Mfir．2013 J．Zhengzhou 一种基于粒子群优化的极限学习机 王杰， 毕浩洋 (郑州大学电气工程学院河南郑州450001) 度快、误差小的优点．由于随机给定输人权值和偏差，ELM通常需要较多隐含层节点才能达到理想精度．粒子群极 SWalTII 限学习机算法为使用粒子群算法(particle 算出输出权值矩阵．一维Sinc函数拟合实验表明，相比于ELM算法和传统神经网络算法，粒子群极限学习机算法 依靠较少的隐含层节点能够获得较高精度． 关键词：粒子群；极限学习机；隐含层节点 183 文献标志码：A 中图分类号：TP 文章编号：1671—6841(2013)01—0100一05 DOI：10．3969／j．issn／1671—6841．2013．01．024 0 引言 传统的基于梯度下降算法神经网络(如BP神经网络)已经被广泛应用于多层前馈神经网络的训练 中…，但是该网络学习速度慢、容易陷人局部最优解以及在不同的应用场合参数调整复杂． 和隐含层偏差被随机初始化给定，输出权值矩阵利用广义逆(MP)计算得到．相比传统前馈神经网络，ELM 学习速度更快、精度更高、参数调整简单，已经得到了不少学者的关注研究口。4J，但是在实际应用过程中，为 了达到理想的误差精度，ELM通常需要大量的隐含层节点． 集体的协作使群体达到最优目的，是一种基于群体智能的优化方法．鸟类捕食最优策略就是搜索目前离食物 最近的鸟的周围区域．在粒子群优化算法中，每个待优化的问题的解都是搜索空间中的一个粒子．每个粒子 对应一个适应度(fitnessvalue)，每个粒子同时对应一个速度，速度决定粒子的移动方向和距离，粒子群就在 解空间中搜索最优粒子．粒子群优化算法因为其算法规则简单、收敛速度快、可调参数少、寻优能力强，已经 在神经网络优化方面得到了广泛的应用¨叫J． 本文提出了粒子群极限学习机算法，利用粒子群优化算法优化选择极限学习机的输入层权值和隐含层 偏差，从而计算出输出权值矩阵．通过与其他算法比较，验证了粒子群极限学习机在隐含层节点数目以及网 络泛化性上的优势． 极限学习机(ELM) 则一个具有￡个隐层节点，激励函数为g(x)的前馈神经网络的输出可以表示为 工 (I) 五(戈)=∑卢iC(ai·工i+bi)，工i∈R“，ai∈R8，卢i∈R“， i=1 收稿日期：2012—09—27 基金项目：国家自然科学基金资助项目，编F1D30507． (1988一)，男，硕士研究生，主要从事模式识别与智能控制研究，E-mail：bi—haoyang@163．com． 万方数据 第1期 王杰，等：一种基于粒子群优化的极限学习机 101 其中，ai=[o订，口也，…，o。I T，是输人层到第i个隐含层节点的输人权值，bi是第i个隐藏层节点的偏差 激励函数g(x)可以选择为“Sigmoid”，“Sine”或“RBF”等． 如果这个具有￡个隐含层结点的前馈神经网络能以零误差逼近这Ⅳ个样本，则存在ai，bi，pi使 L (2) fL(