基于成员相似性集成极端学习机.docVIP

基于成员相似性集成极端学习机 　　摘 要：为了增大各成员间的差异度以改善集成系统的性能，提出了一种基于成员间相似性选择的集成极端学习机（ELM）。首先，筛选出分类性能较高的备选极端学习机；其次，根据成员间的相似性运用微粒群算法（PSO）进一步选出最优的集成成员集合。通过选出相似度低的极端学习机来提高集成成员间差异度，从而有效提高集成系统的分类能力。选出的成员学习机在不同的集成规则下都具有良好性能。在四个UCI数据集上的实验结果表明，与经典的集成极端学习机相比，基于成员相似性选择的集成极端学习机具有更优的泛化性能和稳定性。 　　关键词：微粒群算法；集成极端学习机；成员相似性；极端学习机；泛化性能 　　0 引言 　　2004年，Huang等[1]提出了一类性能优良的单隐层前向神经网络（Singlehidden Layer Feedforward Neural network， SLFN）学习算法，称为极端学习机（Extreme Learning Machine， ELM），与一般的BP（Back Propagation）神经网络、径向基函数（Radical Basis Function， RBF）神经网络相比，具有较好的泛化性能，简单易实现，学习速度快。然而，ELM也有其缺陷，它的输入权值和隐层偏置是随机生成的，导致了其稳定性不好；同时，单个的ELM在解决复杂的分类问题上效果并不理想。为了克服这些不足，研究者们将多个极端学习机集成起来，克服了单个ELM很难在复杂的分类问题上取得良好分类效果这一缺陷。在这个集成系统中，能够充分发挥单个极端学习机之间的互补性，从而改善了单个极端学习机在分类问题上的泛化性能和鲁棒性。 　　赵立杰等[2]将ELM集成起来用于磨机负荷软测量，有效地克服了单一ELM的不稳定性，同时提高了分类性能。Liu等[3]将交叉验证引入集成极端学习机，该方法克服了单个ELM在复杂的分类问题上难以取得良好分类效果这一缺陷，并且加强了集成系统的稳定性。无论是单个的极端学习机还是集成极端学习机，最大的缺点都是无法对新来的数据一个或一批地进行单独学习。当新的数据到达集成系统时，每个极端学习机都要将这些新到的数据和已经训练好的数据结合在一起重新进行学习，增加了极端学习机的计算量和学习时间。 　　2009年，Lan等[4]提出一种集成在线顺序极端学习机（Ensemble of Online Sequential Extreme Learning Machine， EOSELM），该集成系统采用在线顺序极端学习机（Online Sequential Extreme Learning Machine， OSELM）[5]作为成员分类器，可以一个一个或者成批地学习新的数据，每次学习的样本数可以变化，并且丢弃那些已被训练过的数据。 　　目前，关于神经网络集成构成方法的研究主要集中在两个方面：一是如何生成集成网络中的个体网络，二是个体网络的输出如何合成为网络集成的输出。尽管上述集成系统改善了单个学习机在分类问题上的泛化性能和鲁棒性，但上述集成系统并没有考虑到成员分类器间的相似度。在此考虑每个成员分类器间的相似度， 　　若它们之间的相似度小，当一个分类器不能对样本进行正确分类，其他分类器可以对其正确分类时，这样成员间可以形成一定的互补性，提高集成系统的分类性能。 　　研究表明成员学习机的相似度越小，集成系统的分类性能越优、稳定性越好[6]。 　　近年来，微粒群算法（Particle Swarm Optimization， PSO）[7]的应用越来越广泛，它能够有效地解决复杂和难以优化的问题[8]。相对于遗传算法，PSO算法简单易实现，计算量小，而且需要调整的参数比较少[9]。因此，本文提出了一种基于成员相似性的集成极端学习机（EELMBSMS）。 　　该方法先对训练好的学习机进行筛选，然后结合相似性度量用PSO算法进一步筛选出一个成员间差异度较大的集成系统。 　　该方法通过减小成员间的相似度，有效地提高了集成系统的分类性能、稳定性和泛化性能。 　　5 结语 　　基于成员相似性选择的集成极端学习机，通过PSO算法合理选择组成集成极端学习机的各个学习机，使成员间保持较小的相似度，提高了整个集成系统的差异度和泛化性能。将该方法与传统的集成ELM在UCI下的标准数据集上进行了模拟仿真实验，仿真结果验证了本方法的可行性与有效性，在一定程度上很好地解决了个体神经网络差异性问题上的实用性。需要说明的是，本文只对个体差异性问题提出了改进，在未来的工作中，需要进一步研究集成系统的集成规则，以便提出性能更好的集成系统。 　　参考文献： 　　[1]HUANG G， ZHU Q， SIEW C K. Extreme learning machine：a new le