极端学习机算法的改进及应用研究-燕山大学学报.pdfVIP

第３９ 卷 第２ 期 燕山大学学报 Ｖｏｌ ３９ Ｎｏ ２ ２０１５ 年３ 月 Ｊｏｕｒｎａｌ ｏｆ Ｙａｎｓｈａｎ Ｕｎｉｖｅｒｓｉｔｙ Ｍａｒ． ２０１５ 　 　 文章编号：１００７⁃７９１Ｘ（２０１５）０２⁃０１２７⁃０６ 极端学习机算法的改进及应用研究 ∗ 牛培峰 ，马云鹏，刘魏岩，卢　 青，杨　 潇 （燕山大学 电气工程学院，河北秦皇岛０６６００４ ） 摘　 要：极端学习机是一种新型的单隐藏层前馈神经网络模型，其输入权值和隐藏层阈值随机设置，其输出权 值解析计算得到。 因此，其运算速度是传统的ＢＰ 神经网络的数千倍，而且具有良好的模型辨识能力。 然而，极 端学习机的输入权值和隐藏层阈值是随机设定的，可能不是使网络训练目标能达到全局最小值时的最优模型 参数。 针对此不足，本文采用最小二乘思想确定极端学习机的输入权值和隐藏层阈值。 同时，将改进的极端学 习机算法应用于电站锅炉的燃烧热效率建模，并与ＢＰ 、原始极端学习机、粒子群优化极端学习机和“教与学”优 化极端学习机算法进行比较，证明了改进算法的有效性。 关键词：极端学习机；粒子群算法；“教与学”优化算法；最小二乘思想 中图分类号： ＴＰ１８３　 　 文献标识码： Ａ　 　 ＤＯＩ：１０．３９６９／ ｊ．ｉｓｓｎ．１００７⁃７９１Ｘ．２０１５．０２．００５ 一种混合极端学习机算法，应用差分进化算法选 ０　 引言 择输入权值和ＭＰ 广义逆解析求解输出权值；文 极端学习机算法（ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ， 献［９］提出一种优化前馈单隐层神经网络结构和结 ＥＬＭ ）［１］是由新加坡南洋科技大学黄广斌教授于 构参数的优化型极端学习机；文献［１０］应用改进的 ２００６ 年提出的，是一种新型的单隐层前馈神经网 粒子群优化算法寻找极端学习机最优的输入权值 络。 该网络的输入权值和隐藏层阈值随机生成， 和隐层阈值；文献［１１⁃ １２］提出一种基于改进的人 输出层权值矩阵通过一步解析计算得出，避免了 工蜂群的混合型极端学习机算法，旨在选择输入 传统神经网络反复迭代的复杂计算过程，极大地 权值和隐层阈值，提高极端学习机算法的泛化 提高了网络训练速度。 极端学习机的核心思想就 性能。 是将单隐层前馈神经网络的训练学习问题转化成 本文采用最小二乘法确定极端学习机的输入 线性最小二乘问题进行求解，通过应用 Ｍｏｏｒｅ⁃ 权值和隐藏层阈值，保证输入权值和隐藏层阈值 ［２］ 的唯一性，该改进方法被记为最小二乘极端学习 Ｐｅｎｒｏｓｅ （ＭＰ ） 广义逆计算输出权值 。 目前国内 外很多学者从事极端学习机的研究，提出很多有 机（ｌｅａｓｔ ｓｑｕａｒｅ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ，ＬＳＥＬＭ ） 。 效的改进方法，如张弦等人提出限定记忆极端学 为了检验改进算法的有效性，分别应用 ＬＳＥＬＭ 、 ［３］ ［４］ ＢＰ 、ＥＬＭ 、粒子群优化极端学习机（ｐａｒｔｉｃｌｅ ｓｗａｒｍ 习机 ，贯序正则极端学习机 等各种改进型极端 ［５⁃７］ ｏｐｔｉｍｉｚａｔｉｏｎ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ， ＰＳＯ⁃ＥＬＭ ） 学习机 。