elm网络集成究.pdf

Classified Index: CODE: 10075 U.D.C: NO: A Dissertation for the Degree of M. Engineering Research On the Ensemble of Extreme Learning Machine Candidate: Xu Hongyu Supervisor: Prof. Zhai Junhai Prof. Wang Xizhao Academic Degree Applied for: Master of Engineering Specialty: Computer Software and Theory University: Hebei University Date of Oral Examination: May, 2013 摘 要 摘 要 极限学习器(Extreme learning machine, ELM)是训练单隐含层前馈神经网络有效学 习算法。ELM 克服了基于梯度的学习算法的很多不足，如局部极小、不合适的学习速 率、学习速度慢等。ELM 随机确定输入层权值和隐含层偏置，通过分析的方法确定输 出层的权值，具有学习速度快、泛化能力强等特点，但 ELM 的稳定性较差，且容易产 生过拟合，特别是对于规模较大的数据集。针对上述问题，本文提出了（1）基于样本 熵的动态 ELM 集成方法，对于给定的测试样例，该方法利用样本熵动态确定用于集成 的ELM 基本分类器；（2 ）基于模糊积分的ELM 融合方法，该方法分为三个阶段。首先 利用 bootstrap 技术从原数据集生成若干子集，然后用每一个子集训练一个概率单隐含层 前馈神经网络，该网络用 ELM 进行训练，最后用模糊积分融合得到的多个概率单隐含 层前馈神经网络。 为了验证本文提出的方法的有效性，在 UCI 数据集上进行了实验，并对实验结果进 行了统计分析，实验结果及对实验结果的统计分析显示本文提出的方法是行之有效的， 从某种程度上可以克服上面提到的问题。 关键词 极限学习器 集成学习 动态集成 分类器融合 I Abstract Abstract Extreme Learning Machine (ELM) as an efficient learning algorithm has been proposed for Single-hidden Layer Feed-forward Neural Networks (SLFNNs), ELM can overcome many drawbacks in the traditional gradient-based learning algorithm such as local minimal, improper learning rate, and low learning speed et al. ELM randomly select input weights and hidden layer bias, and analytically determine