《极端学习机：理论和应用》.docVIP

极端学习机：理论和应用 摘要 　　过去的几十年里，前馈神经网络的学习速度远比需求的慢，且在应用方面有很大的障碍。两个关键因素是：（1）基于缓慢的梯度学习算法广泛用于神经网络训练；（2）所有网络的参数通过这样的学习算法调优迭代。与传统的实现不同,本文提出了一种新的学习算法称为单隐藏层前馈神经网络（SLFNs）的极端学习机，该算法随机选择隐藏节点和分析确定SLFNs权值的输出。从理论上讲,该算法倾向于在极快速度的学习中提供良好的泛化性能。基于一些人为的和真正的基准函数逼近和分类问题的实验结果，包括非常大的复杂的应用表明：在大多数情况下，该算法可以产生良好的泛化性能，比传统流行的前馈神经网络学习速度快几千倍。 关键词：前馈神经网络；反向传播算法；极端学习机；SVM；实时学习；随机节点 1.绪论 　　前馈神经网络依靠其能力已广泛应用于许多领域:(1) 直接从输入样本近似复杂非线性映射;(2)对于一个使用经典参数化技术很难处理大类自然和人工现象提供模型。另一方面,缺乏加快神经网络的学习算法。传统的学习算法通常远低于需求。通过使用传统的方法可能需要数小时数天甚至更多的时间来训练神经网络，是不足为奇的。 　　从数学的角度来看,研究前馈神经网络的逼近能力都集中在两个方面：紧凑输入集的逼近和有限集合训练样本的逼近。许多研究人员探究了标准多层前馈神网络的逼近能力。Hornik[7]证明了如果激活函数是连续的,有界的，非常量的,然后可以通过依靠紧凑输入集的神经网络近似计算连续映射。Leshno[17]的结果改进Hornik[7]和证明含有非多项式的前馈网络可以估计(测量)连续函数。在实际应用中,用有限的训练集训练神经网络。对于有限训练集的函数逼近,Huang and Babri [11]显示,最多具有N个隐藏节点和几乎所有非线性激活函数的单层前馈神经网络(SLFN)，可以得到N个不同的观察值。应当注意，在前馈神经网络的所有之前的理论研究文章和几乎所有实际的学习算法中，需要调整输入权重(连接输入层到第一个隐层)和隐藏层阈值。 传统上,需要调整前馈网络的所有参数,从而存在不同层之间的依赖关系(权重参数和阈值)。过去几十年,基于梯度下降的方法主要用于前馈经网络的各种学习算法。然而,由于不当的学习步骤或者可能容易收敛到局部最小值，基于梯度下降学习方法非常缓慢。为了获得更好的学习性能，这样的学习算法需要许多迭代学习步骤。 [23,10]所示,随机选择的输入权重和隐藏层的阈值(这样的隐藏节点可以被称为随机隐藏节点)的SLFNs(N个隐藏节点）可以学习不同观察值。与所有参数需要调整的前馈网络的流行的思考和大多数实际的实现不同,在应用中，它可能不需要调整输入权重和第一个隐藏层阈值。事实上,在我们的文章[16]中，基于人工和实际大型应用的一些仿真结果表明,该方法不仅使学习非常快,而且会产生良好的泛化性能。 在本文中,我们首先严格证明了，如果隐藏层的激活函数是无限可导的，SLFNs的输入权重和隐藏层阈值可以随机分配。在随机地选择输入权重和隐藏层阈值之后,SLFNs可以简单地视为一个线性系统,其输出权重(隐藏层到输出层连接)，可以通过隐层输出矩阵的Moore–Penrose广义逆操作分析确定。基于这一概念,提出了一种简单学习算法SLFNs称为极端学习机(ELM)，它的学习速度比反向传播算法(BP)的传统前馈网络学习快成千上万倍，同时能获得更好的泛化性能。不同的于传统的学习算法，本文提出的学习算法不仅倾向于达到最小训练误差，而且使权重的范数达到最小。Bartlett有关前馈神经网络泛化性能[1]理论陈述了前馈神经网络能达到更小的训练误差。权重的规范越小，网络的泛化性能更好。因此,本文提出的学习算法对前馈神经网络具有良好的泛化性能。 新提出的算法可以很容易地学习实现,达到训练误差最小,获得最小的权重范数和良好的泛化性能，运行得非常快。为了与其他受欢迎的SLFN学习算法区分,在本文中，它被称为极端学习机。 本文组织如下。第二节严格证明了如果隐藏层的激活函数无限可导，那么SLFNs的输入权重和隐藏层的阈值可以随机分配。第三节进一步提出了单隐藏层的ELM学习算法。第四节提出了性能评估。第五节给出讨论和结论。附录介绍了一般线性系统的Moore-Penrose广义逆，最小范数的最小二乘解在ELM学习算法中发挥着重要的作用。 带有随机隐藏节点的单隐藏层前馈神经网络 给定N个不同样本，和，具有个节点，激活函数为的SLFN的数学模型为： （1） 其中，是连接第i个隐藏节点和输入节点的权重向量，是连接第i个隐藏节点和输出节点的权重向量，是第i个隐藏层节点的阈值。表示和的内积。本文选择线性输出节点。 带有个