极端学习机：理论和应用.docVIP

极端学习机：理论和应用 摘要 　　过去的几十年里，前馈神经网络的学习速度远比需求的慢，且在应用方面有很大的障碍。两个关键因素是：（1）基于缓慢的梯度学习算法广泛用于神经网络训练；（2）所有网络的参数通过这样的学习算法调优迭代。与传统的实现不同,本文提出了一种新的学习算法称为单隐藏层前馈神经网络（SLFNs）的极端学习机，该算法随机选择隐藏节点和分析确定SLFNs权值的输出。从理论上讲,该算法倾向于在极快速度的学习中提供良好的泛化性能。基于一些人为的和真正的基准函数逼近和分类问题的实验结果，包括非常大的复杂的应用表明：在大多数情况下，该算法可以产生良好的泛化性能，比传统流行的前馈神经网络学习速度快几千倍。 关键词：前馈神经网络；反向传播算法；极端学习机；SVM；实时学习；随机节点 1.绪论 　　前馈神经网络依靠其能力已广泛应用于许多领域:(1) 直接从输入样本近似复杂非线性映射;(2)对于一个使用经典参数化技术很难处理大类自然和人工现象提供模型。另一方面,缺乏加快神经网络的学习算法。传统的学习算法通常远低于需求。通过使用传统的方法可能需要数小时数天甚至更多的时间来训练神经网络，是不足为奇的。 　　从数学的角度来看,研究前馈神经网络的逼近能力都集中在两个方面：紧凑输入集的逼近和有限集合训练样本的逼近。许多研究人员探究了标准多层前馈神网络的逼近能力。Hornik[7]证明了如果激活函数是连续的,有界的，非常量的,然后可以通过依靠紧凑输入集的神经网络近似计算连续映射。Leshno[17]的结果改进Hornik[7]和证明含有非多项式的前馈网络可以估计(测量)连续函数。在实际应用中,用有限的训练集训练神经网络。对于有限训练集的函数逼近,Huang and Babri [11]显示,最多具有N个隐藏节点和几乎所有非线性激活函数的单层前馈神经网络(SLFN)，可以得到N个不同的观察值。应当注意，在前馈神经网络的所有之前的理论研究文章和几乎所有实际的学习算法中，需要调整输入权重(连接输入层到第一个隐层)和隐藏层阈值。 传统上,需要调整前馈网络的所有参数,从而存在不同层之间的依赖关系(权重参数和阈值)。过去几十年,基于梯度下降的基于梯度下降大多数实际的实现Moore–Penrose广义逆操作分析确定。基于这一概念,提出了一种简单学习算法SLFNs称为极端学习机(ELM)，它的学习速度比反向传播算法(BP)的传统前馈网络学习快成千上万倍，同时能获得更好的泛化性能。不同的于传统的学习算法，本文提出的学习算法不仅倾向于达到最小训练误差，而且使权重的范数达到最小。Bartlett有关前馈神经网络泛化性能[1]理论陈述了前馈神经网络能达到更小的训练误差。权重的规范越小，网络的泛化性能更好。因此,本文提出的学习算法对前馈神经网络具有良好的泛化性能。 新提出的算法可以很容易地学习实现,达到训练误差最小,获得最小的权重范数和良好的泛化性能，运行得非常快。为了与其他受欢迎的SLFN学习算法区分,在本文中，它被称为极端学习机。 本文组织如下。第二节严格证明了如果隐层的激活无限SLFNs的输入权重和隐层的可以随机分配。第三节进一步提出了学习算法。第四节提出了评估。第五节给出讨论和结论。附录介绍一般线性系统Moore-Penrose广义逆最学习算法中发挥着重要的作用数学为 其中，是连接第i个隐藏节点和输入节点的权重向量，是连接第i个隐藏节点和输出节点的权重向量，是第i个隐藏节点阈值上述方程可以写简洁Huang et al. [11,10]中，H称为神经网络的隐藏层输出矩阵H的第列是输入g是无限可导的，我们能证明所需数量的隐藏节点个数严格说来,我们有： 定理 2.1 给定一个具有N个隐藏节点以及在任何区间都无限可导的激活函数的标准SLFN。对N个任意不同样本，，SLFN在随机产生的情况下，形成的隐藏层输出矩阵H是可逆的，且 证明.H的第i列向量属于欧几里得空间R时间间隔遵循Tamura and Tateishi ( [23]p.252)同样的证明方法我们之前的([10]，定理2.1它可以很容易地证明c不属于任何维度小于N子空间。 Huang and Babri [11]指出，这种激活包括s形以及径向基函数、正弦、余弦、指数许多非正规的函数 定定理 2.2. 对于任意小的，及在任何区间都无限可导的激活函数，对N个任意不同样本，，总存在个隐节点的SLFN，使得在随机产生的情况下，。 证明：定理的有效性是很明显的，否则根据定理2.1只能选择使得 极端学习机(ELM)的提出 根据定理2.1和2.2，我们提出了一个极简单有效的方法训练SLFNs。 3.1 传统的基于梯度的SLFNs的解决方案 传统上，为了训练SLFN，我们希望找到特殊的使得