神经网络极速学习方法的研究.docVIP

神经网络极速学习方法研究(? 邓万宇1, 郑庆华2+, 陈 琳31)，2 (西安交通大学 电信学院计算机系, 陕西西安 710049) 1，3(西安邮电学院 计算机系, 陕西西安 710061) 摘 要: 单隐藏层前馈神经网络(Single-hidden Layer Feedforward Neural etwork, SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用，但的速度远远不能满足实际的需要，成为发展的主要瓶颈。这种情况两个原因：（1）差反向传播back propagation，BP主要基于梯度下降的思想，需要迭代；（2）网络的所有参数在训练过程中。问题，的结构风险最小化提出一种快速学习方法局部最小值。 关键词: 极速学习机极速学习机神经网络中图法分类号: TP18　　文献标识码: A 引言 单隐藏层前馈神经网络(SLFNSingle-hidden Layer Feedforward Neural Network)之所以能够在很多领域得到广泛应用，是因为它有很多优点：（1）具有很强的学习能力，能够逼近复杂非线性函数；（2）能够解决传统参数方法无法解决的问题。但另一方面缺乏快速学习，使其很多无法满足实际需要。 对于SLFN的学习能力，分别从紧集(compact input sets)和有限集(infinite input sets)两种输入情况进行了深入研究。Hornik研究表明：如果激励函数连续、有界且不是常量函数，那么SLFN能够在紧集情况下逼近任何连续函数[1]；Leshno在Hornik基础的进一步研究表明：使用非多项式激励函数的SLFN能够逼近任何连续函数[2]。在实际应用中，神经网络的输入往往是有限集，对于有限集情况下SLFN的学习能力，Huang和Babri进行了研究，结果表明：对于含有N个不同实例的有限集，一个具有非线性激励函数的SLFN最多只需N个隐藏层结点，就可以无误差的逼近这N个实例[3][4]。这就是说，一个具有N个隐藏层结点的SLFN，即使输入权值随机取值，它也能够准确拟合N个不同的实例，更明确的讲就是SLFN的学习能力只和隐藏层结点的数目有关，而和输入层的权值无关。虽然这一点对于提出一种新的学习算法很有启发，但并未引起研究者的注意，迭代调整的思想一直坚持到现在，很多算法都是围绕这一思想进行技巧性的改进。不同于传统的学习方法，Huang基于以上研究结论为SLFN提出了一种极速学习机(Extreme Learning Machine，ELM)的学习方法[5]设置合适的隐藏层结点数，为输入权和隐藏层偏差进行随机赋值，输出层权值然通过最小二乘法得到。整个过程一次完成，无需迭代，与BP相比速度(通常10倍以上)。 但是ELM基于经验风险最小化原理，这可能会导致过度拟合问题[6]。此外因为ELM不考虑误差的权重，当数据集中存在点时，它的性能将会受到严重影响[7]。为了克服这些缺点，我们结合结构风险最小化理论以及加权最小二乘方法对ELM算法进行改进，使得ELM在保持快速这一优势的前提下，泛化性能得到进一步的提高。 SLFN的统一模型 对于个不同样本，其中， ，一个隐藏层结点，激励函数为的SLFN的统一模型为： (1) 其中是连接第i个隐藏层结点的输入权值是i个隐藏层结点的是连接i个隐藏层结点的输出权值表示和的内积激励函数可以是Sigmoid”、“Sine”或“RBF”等。 上述个方程的矩阵形式可写为： ，其中 ，， 期望值和实际值之间的误差平方和，问题求解就是寻找最优的权值使代价函数最小，其数学模型可表示为： (2) 其中是第j个样本的误差BP 由Rumelhart和McClelland提出的BP神经网络模型是目前应用最广泛的模型之一[8]，BP训练是通过误差传原理不断调整网络权值使输出输出之间的误差平方和达到最小或小于某。当未知时，梯度下降法： 其中代表学习速率。 基于梯度下降法的BP存在以下缺点：参数选择很敏感与初值，才能取得理想的结果。若太小，算法收敛很慢而大，算法不太稳定甚至不再收敛 局部最小值由于非凸，因此在下降过程中可能会陷入局部最小，无法达到全局最[9]； 过渡拟合在有限样本上训练时，仅以训练误差最小为目标的训练可能导致过渡拟合。 ELM 为了解决以上问题，Huang基于以下定理为SLFN提出了ELM算法。 定理4.1. [5] 个不同样本其中，，个隐藏层结点任意区间无限可导的激活函数在和任意赋值的情况下，所形成的隐藏层矩阵可逆方程组有精确解，代价函数=0。 定理4.2. [5] 给定个不同样本，任意小误差，任意区间无限可导的激活函数总存在一个包含)个隐藏层结点的SLFN，使得在和任意值情况下，。 定理4.1和定理4.2的详细证明可参考文献[4,5,10