《一种基于簇的极限学习机的在线学习算法》.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 一 种基于簇的极限学习机的在线学习算法 张 敏，曾新苗，马长春 ZHANG M in，ZENG Xinmiao，MA Changchun 重庆大学 计算机学院，重庆 400030 CollegeofComputerScience，ChongqingUniversity，Chongqing400030，China ZHANG M in，ZENG Xinmiao，MA Changehun．Clusteringbased and ELM based online learningalgorithm． _ — ComputerEngineeringandApplications，2014，50(11)：188—191． Abstract：Traditionalbatch learn ingalgorithm isslow tolearnandhasahighdemandforspace．Thispaperproposesa clutering basedandELM basedonlinelearningalgorithm．Inthisalgorithm，ittakestheconceptofclusteringintoextreme _ — learningmachine，combineswithextremelearningmachine，proposesacategory based，outputbasedstandardofcluster- — ing．Atthesametime，italsoproposesaweightedMoore—Penrosealgorithm tosolvetheweightvectorconnectingthehidden nodesandtheoutputnodes．Theresultshowsthatthisalgorithm hasgoodlearn ingabilityandhighgoodnessoffit，pro— ducesbettergeneralizationperformance，andSOon． Keywords：extremelearningmachine；cluster；online1earning 摘 要：针对传统的批量学习算法学习速度慢 、对空间需求量高的缺点，提 出了一种基于簇的极限学习机的在线学 习算法。该算法将分簇的理念融入到极限学习机中，并结合极限学习机，提 出了一种基于样本类别和样本输出的分 簇标准；同时提出了一种加权的Moore—Penrose算法求隐层节点与输出节点的连接权重。实验结果表 明，该算法具 有学习能力好、拟合度高、泛化性能好等优点。 关键词：极限学习机；簇；在线学习 文献标志码：A 中图分类号：TP3l1 doi：10．3778~．issn．1002．8331．1206．0328 l 引言 极限学习机 (extremelearningmachine)作为单隐 传统的、单隐层前馈神经网络的大部分应用中的学 层前馈神经网络的一种典型学习算法，学习速度快 ，泛 习算法都是批量学习的，即假设一次性获得所有样本 ， 化性能好 ，在函数逼近和模式分类领域都有广泛应用。 或者获得有代表性的样本 ，然后对其进行学习，并用学 本文在极限学习机的基础上，引入簇的概念，提出一种 习到的知识对样本进行分类。然而在实际应用中，通常 结合簇的、采用加权Moore．Penrose算法求广义逆矩阵 不可能一次性获得所有样本 ，或者获得的样本不具有足