极端学习机理论和应用.docVIP

极端学习机：理论和应用 摘要 　　过去的几十年里，前馈神经网络的学习速度远比需求的慢，且在应用方面有很大的障碍。两个关键因素是：（1）基于缓慢的梯度学习算法广泛用于神经网络训练；（2）所有网络的参数通过这样的学习算法调优迭代。与传统的实现不同,本文提出了一种新的学习算法称为单隐藏层前馈神经网络（SLFNs）的极端学习机，该算法随机选择隐藏节点和分析确定SLFNs权值的输出。从理论上讲,该算法倾向于在极快速度的学习中提供良好的泛化性能。基于一些人为的和真正的基准函数逼近和分类问题的实验结果，包括非常大的复杂的应用表明：在大多数情况下，该算法可以产生良好的泛化性能，比传统流行的前馈神经网络学习速度快几千倍。 关键词：前馈神经网络；反向传播算法；极端学习机；SVM；实时学习；随机节点 1.绪论 　　前馈神经网络依靠其能力已广泛应用于许多领域:(1) 直接从输入样本近似复杂非线性映射;(2)对于一个使用经典参数化技术很难处理大类自然和人工现象提供模型。另一方面,缺乏加快神经网络的学习算法。传统的学习算法通常远低于需求。通过使用传统的方法可能需要数小时数天甚至更多的时间来训练神经网络，是不足为奇的。 　　从数学的角度来看,研究前馈神经网络的逼近能力都集中在两个方面：紧凑输入集的逼近和有限集合训练样本的逼近。许多研究人员探究了标准多层前馈神网络的逼近能力。Hornik[7]证明了如果激活函数是