自适应混沌粒子群算法对极限学习机参数的优化.docVIP

自适应混沌粒子群算法对极限学习机参数的优化 　　摘 要：针对极限学习机（ELM）在处理非线性数据时效果不理想，并且ELM的参数随机化不利于模型泛化的特点，提出了一种改进的极限学习机算法。结合自适应混沌粒子群（ACPSO）算法对ELM的参数进行优化，以增强算法的稳定性，提高ELM对基因表达数据分类的精度。在UCI基因数据集上进行仿真实验，实验结果表明，与探测粒子群极限学习机（DPSO-ELM）、粒子群极限学习机（PSO-ELM）等算法相比，自适应混沌粒子群极限学习机（ACPSO-ELM）算法具有较好的稳定性、可靠性，且能有效提高基因分类精度。 　　关键词：自适应；极限学习机；混沌粒子群；基因分类 　　中图分类号：TP181 　　文献标志码：A 　　文章编号：1001-9081（2016）11-3123-04 　　0 引言 　　前馈神经网络能够通过输入样本逼近复杂的非线性映射，因此在很多领域都有应用，但是存在学习速度慢、容易陷入局部收敛和在不同场合其参数难以调解等复杂问题，以致其发展受限。为解决这些问题，2006年Huang[1]提出一种新型单隐层前馈神经网络――极限学习机（Extreme Learning Machine， ELM），通过核函数将数据从低维空间映射到高维空间中，处理非线性数据，但是参数随机产生使结果存在一定的随机性，因此容易产生较差的分类效果。1995年James Kennedy和Russel Eberhart提出粒子群（Particle Swarm Optimization， PSO）算法[2-3]，该方法是基于群体演化的随机全局优化的一种智能优化算法，其中心思想是对鸟群或鱼群合作捕食行为的研究。在优化复杂函数时，PSO算法的搜索精度不能达到要求，且易陷入局部最优的状况，到搜索后期经常会出现震荡情况。2009年，Lei等[4]提出了基于混沌序列的粒子群优化算法，通过引入混沌序列增强了算法的全局搜索能力。2012年， Han等[5]提出了用PSO算法对ELM进行优化，通过优化ELM 的输入层权值及隐藏层偏差，得到一个最优的网络。2015年，Yang等[6]提出基于Tent混沌序列的PSO算法，在增强全局搜索能力的基础上有效地避免了算法的盲目性，提高了算法收敛速度。 　　本文通过分析ELM的缺点，提出一种新的自适应混沌粒子群极限学习机（Adaptive Chaotic Particle Swarm Optimization-Extreme Learning Machine，ACPSO-ELM）分类器。在该算法中，首先通过ELM对给定的数据进行初始化，产生一组输入权值和隐藏层偏置，再通过ACPSO算法寻找最优输入权值和隐藏层偏置，最后将得到的结果代入ELM中训练。 　　改进后的自适应粒子群优化算法步骤如下： 　　步骤1 给定训练与测试数据集，在训练前，对数据进行归一化处理。 　　步骤2 建立基于ACPSO的极限学习机神经网络拓扑结构，设置隐层神经元数目，选中激活函数。 　　步骤3 产生种群，设置粒子数N，每个粒子设置为[-1，1]范围内的随机数向量，设置神经元个数及隐层节点数。 　　步骤4 初始化ACPSO的速度与位置变量，设置种群的个体最优位置pbest、群体最优位置gbest。 　　步骤5 计算每个粒子的适应度值，先计算网络实际输出，再求期望输出值与实际输出值的均方误差，即得到粒子的适应度值。 　　步骤6 根据式（6）、（7）更新自适应粒子群的位置和速度。 　　步骤7 计算种群适应度方差，根据方差值判断算法是否收敛，若收敛则转步骤9； 否则转步骤8。 　　步骤8 根据式（10）、（11）进行混沌搜索，用搜索到的点随机取代粒子群中的一个粒子，然后转步骤5。 　　步骤9 判断是否达到最大迭代次数：若达到，则停止迭代； 否则转步骤5，继续迭代。 　　3 算法描述与实验结果 　　本文为得到分类精度高、泛化性能好和鲁棒性高的分类模型，提出了ACPSO-ELM算法，该算法结合ACPSO算法的高稳定与ELM算法分类速度快、精度高的特点，通过实验对算法性能进行验证。本文从UCI标准分类数据集中选择Breast、Heart、Colon三种基因数据集进行实验，实验由Matlab编程仿真实现。每个数据集如表1所示： 　　为验证ACPSO-ELM算法的高效性，本文分别用ELM、PSO-ELM、ACPSO-ELM、DPSO-ELM在Breast、Heart、Colon三种基因数据集采用10次五折交叉验证，即将每个基因数据集分成5份，选取其中4份作为训练数据集，1份作为测试数据集，进行实验，取10次结果精度的平均值作为算法的精度。本文所用实验粒子群的参数设置为N=20，Kmax=50，ωma