神经网络极速学习方法研究进展.docVIP

神经网络极速学习方法研究进展 　　摘要：神经网络已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用，但学习方法的速度不能满足实际需求。传统的误差反向传播方法（BP）主要是基于梯度下降的思想，需要多次迭代；网络的所有参数都需要在训练过程中迭代确定，因此算法的计算量和搜索空间很大。ELM（Extreme Learning Machine，ELM）是一次学习思想使得学习速度提高很多，避免了多次迭代和局部最小值，具有良好的泛化性能、鲁棒性与可控性。但对于不同的数据集和不同的应用领域，无论ELM是用于数据分类或是回归，ELM算法本身还是存在问题，所以本文对已有方法深入对比分析，并指出极速学习方法未来的发展方向。 　　关键词：数据挖掘；神经网络；极速学习机 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)10-2368-04 　　Survey of Extreme Learning of Neural Networks 　　YANG Feng-zhi1, PI Hui1, SU Jia-wei2 　　(1.School of Information, Yunnan Normal University, Kunming 650031, China; 2.School of Physics and Electronic Information, Yunnan Normal University, Kunming 650031, China) 　　Abstract: Neural Network have been widely applied in many fields including pattern recognition, automatic control, data mining etc. However, the traditional learning methods can not meet the actual needs. The traditional method is mainly based on gradient descent and it needs multiple iterations; all of the network parameters need to be determined by iteration. Therefore, the computational complexity and searching space will increase dramatically. ELM is one-time learning idea, this method is faster algorithm and voids a number of iterations and the local minimum, it has better generalization, robustness and controllability. But for different data sets and different applications, it is used for both data classification or regression. ELM algorithm has some problems. So this paper follow a comprehensive comparison and analysis of existing methods, future research directions are highlighted. 　　Key words: data mining; neural networks; extreme learning machine 　　 随着计算机硬件设备技术的稳定进步为人类提供了大量的数据收集设备和存储介质；数据库技术的成熟和普及已使人类积累的数据量正以指数方式增长；Internet技术的出现和发展已将整个世界连接成一个地球村，人们可以穿越时空在网上交换信息和协同工作。在这个信息爆炸的时代，面对着浩瀚无垠的信息，人类正被信息淹没，却饥渴于知识。人类怎样从数据中获取知识，就是在这个背景下，数据挖掘应运而生。 　　但面对海量的不同类型的数据集，参考文献[1]中提出了数据挖掘遇到了的三个困难：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述上还是处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的满足可计算条件的一般性理论与方法。由于真实世界的数据关系是很复杂的，非线性程度相当