基于ELM跨越前馈神经网络及其应用研究.docVIP

基于ELM跨越前馈神经网络及其应用研究 　　摘 要： 针对基于ELM学习算法的单隐含层前馈神经网络需要较大的网络规模、影响网络泛化能力的问题，基于新皮层内神经元的连接特点，在前馈神经网络中引入不同层神经元之间的跨越连接，构造跨越前馈神经网络。同时，基于ELM学习算法设计适用于跨越前馈神经网络的学习算法，提高网络的学习能力。Image Segmentation多分类问题及直线一级倒立摆系统控制的实验研究表明，该方法能够提高网络的学习能力，具有明显的优势。 　　关键词： 神经网络； 跨越连接； 极速学习机； 倒立摆系统 　　中图分类号： TN711?34；TP183 文献标识码： A 文章编号： 1004?373X（2013）15?0108?04 　　Span feedforward neural network based on ELM and its application 　　SHI Hong?wei， YANG Ming?hong 　　（Beijing China Coal Mine Engineering Co.， Ltd.， Beijing 100013， China） 　　Abstract： The single?hidden layer feedforward neural network （SLFN） based on ELM needs larger?scale network structure to solve practical applications， which will influence the generalization capability. In order to solve the problem， a span feedforward neural network （SFN） is proposed based on the characteristic of neocortex neurons. The span connections between any two non?adjacent layers were introduced into this network. At the same time， an improved learning algorithm based on ELM is presented， the proposed approach of span feedforward neural network and improved ELM learning algorithm is used for some benchmark problems. The study on Image Segmentation multi?classification problem and linear 1?stage inverted pendulum system control show that the proposed approach performs better than SLFN and ELM， and it could improve the learning ability of the nerwork. 　　Keywords： neural network； span connection； extreme learning machine； inverted pendulum system 　　0 引 言 　　人工神经网络是对生物神经网络结构和功能的一种模拟，主要包含网络结构和学习算法两个部分。单隐含层前馈网络（Single?hidden Layer Feedforward Neural Network，SLFN）由于其通用逼近能力及其简单的结构，在理论研究和实际应用领域均得到了广泛的关注[1?3]。为了提高网络的学习速度及性能，涌现出了大量的学习方法。其中，Huang等人提出的ELM（Extreme Learning Machine）[4?5]学习算法采用一次学习的思想实现SLFN参数的学习，并在其他类型的网络中得到了应用和推广。该方法无需梯度下降的迭代调整，而是在输入层到隐含层权值随机赋值的基础上通过一步计算解析出网络的输出权值，提高了网络的学习速度。然而，此方法要求网络结构达到一定规模时才能充分发挥优势，而过大的网络规模则影响网络泛化能力的提高。 　　1 SLFN及ELM基础知识 　　具有多入多出的单隐含层前馈神经网络SLFN的结构如图1所示，由输入层、隐含层和输出层组成，其中不同层内的神经元通过权值进行前馈连接，同层内的神经元无连接。定义隐含层神经元的激活函数为[f（·），]而输入神经元和输出神经元为线