基于共轭梯度的极速学习机.pdfVIP

JournalofComputerApplications ISSN 1001．9081 2015．．10．．10 计算机应用，2015，35(10)：2757—2760，2765 CODEN JYIIDU http：／／www．joca．en 文章编号：1001—9081(2015)10—2757—04 doi：10．11772／j．issn．1001-9081．2015．10．2757 基于共轭梯度的极速学习机 张沛洲1,2，王熙照 ，顾 迪 ，赵士 ’ (1．河北大学 数学与信息科学学院，河北 保定071002； 2．河北省机器学习重点实验室(河北大学)，河北 保定 071000； 3．河jE大学计算机科学与技术学院，河北保定071002；4．河北大学 管理学院，河北保定071002； 5．石家庄铁道大学数理系，石家庄 050043) ( 通信作者电子邮箱737202205@qq．corn) 摘 要 ：极速学习机 (ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很 多的领域，然而在 计算数据样例个数较大的情况下，它的训练速度就会下降，甚至会出现程序报错 ，因此提出在ELM模型中用改进的共 轭梯度算法代替广义逆的计算方法。实验结果表明，与求逆矩阵的ELM算法相比，在同等泛化精度的条件下，共轭梯 度 ELM有着更快的训练速度。通过研究发现：基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆， 而大部分广义逆的计算依赖于矩阵的奇异值分解 (SVD)，但这种奇异值分解对于阶数很高的矩阵具有很低的效率；因 为已经证明共轭梯度算法可通过有限步迭代找到其解，所以基于共轭剃度的极速学习机有着较高的训练速度，而且 也比较 适用 于处理大数据 。 关键词：极速学习机；广义逆；共轭梯度法；奇异值分解 中图分类号：TP181 Extremelearningmachinebasedonconjugategradient ZHANG Peizhou， W ANG Xizhao．GU Di，ZHAO Shixin， (1．CollegeofMathematicsandInformationScience，HebeiUniversity，BaodingHebei071002，China； 2．HebeiProvinceKeyLaboratoryofMachineLearning(HebeiUnivenity)，BaodingHebei071000，China； 3．SchoolofCompu~rScienceandTechnology,ttebeiUniversity,BaodingHebei071002，China； 4．CollegeofManagement，HebeiUniversity,BaodingHebei071002，China； 5．DepartmentofMathematicsandPhysics，ShfiiazhuangTiedaoUniversity,ShijiazhuangHebei050043，China) Abstract：ExtremeLearningMachine(ELM)hasbeenwidelyusedinmanyapplicationsduetoitsfastconvergenceand goodgeneralizationperformance．However，thetrainingspeedwillslow downorELM willmakeerrorwhenthenumberofthe trainingsamplesreaches