神经网络技术探究.docxVIP

?

?

神经网络技术探究

?

?

论文导读：人工神经网络是20世纪80年代迅速发展起来的一门非线性、交叉科学，它是模拟生物神经信息处理方法的新型计算机系统，作为新学科、新方法和新技术,在自然科学和社会科学各个领域得到了广泛的应用,取得了丰硕的成果。随着应用的日益广泛,又进一步推动了神经网络的研究和发展,各种网络结构和算法系统应运而生,逐渐构成了较为完善的理论体系。

关键词：神经网络技术，ANNBP网络算法

?

1、人工神经网络概述

人工神经网络是模拟生物神经信息处理方法的新型计算机系统，它可以模拟人脑的一些基本特征，（如自适应性，自组织性和容错性），是一个并行、分布处理结构,它由处理单元及其称为联接的无向信号通道互连而成。

人工神经网络力图模仿生物神经系统，通过接受外部输入的刺激，不断获得并积累知识，进而具有一定的判断预测能力。尽管神经网络模型的种类很多，但基本模式都是由大量简单的计算单元（又称为节点或神经元）广泛相互连接而构成的一种并行分布处理网络。论文发表。基于神经信息传输的原理，各个节点通过可变的权值彼此相连接，每个节点对N个加权的输入求和，当求和值超过某个阈值时，节点呈“兴奋”状态，有信号输出。节点的特征由其阈值、非线性函数的类型所决定，而整个神经网络则由网络拓扑、节点特征以及对其进行训练所使用的规则所决定。

2、多层前向网络

神经网络按拓扑结构分为前馈型网络和反馈型网络。前馈型网络在结构上采用的是其信息只能从前一层到它下面一层的单元，在网络运算过程中不存在任何反馈。从学习观点看，前馈网络是一种强有力的学习系统，其结构简单,易于编程；从系统观点看，前馈网络是非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，因此具有较强的分类能力和模式识别能力。

反向传播（BP）网络是典型的前馈型网络，结构上它属于多层前向网络,它的结构如图1所示。它分为输入层、隐含层和输出层，层与层之间多采用全互连方式，同一层之间不存在相互连接。网络中每一层权值都可通过学习来调节,且网络的基本处理单元（输入单元除外）为非线性输入、输出关系，处理单元的输入、输出值可连续变化。由于BP网络可在多个连续的输入和一个或多个连续的输出之间建立非线性映射这一特性，它常被用于智能预测。

多层前向网络是使用最广泛的一种网络结构，它可很好的解决XOR等经典的非线性问题，比起单层的感知器有很大的优越性，尤其80年代中期，Rumelhart和Mcclelland最先提出了多层前馈网络的反向传播学习算法，简称BP算法，它的效率很高，是目前应用最为普遍的训练算法，这使得多层前馈网络应用更加广泛。应该指出，我们常说的BP网络，严格说是基于BP算法的多层前向网络。

图1BP网络结构图

4、BP网络算法

BP网络算法的思想是把一组样本的I/O问题变为一个非线性优化问题，使用了优化中最普通的梯度下降法,用迭代运算求解权对应于学习记忆问题，加入隐含层节点使优化问题的可调参数增加，从而可得到更精确的解。BP网络模型设计的最大特点是网络权值是通过使用网络模型输出值与已知的样本值之间的误差平方和达到期望值而不断调整出来的，并且确定BP神经网络评价模型时涉及隐含层节点数、转移函数、学习参数和网络模型的最后选定等问题。下面简单介绍一下基本BP算法相关数学描述：

(1)梯度下降算法

(2)S(Sigmoid)型函数

BP网络的激活函数经常使用的是Sigmoid对数或正切激活函数和线性函数。对数S型函数f(x)=1/(1+exp(-x)),Sigmoid函数具有非线性放大功能，它可以把输入从负无穷大到正无穷大的信号，变换成-1到1之间的输出，对较大的输入信号，放大系数较小，而较小的输入，放大系数较大，所以采用S型激活函数可以去逼近非线性的输入/输出关系。

(3)BP算法

BP网络学习是典型的有导师学习，其学习算法是对简单的学习规则的推广和发展。BP网络实现了多层网络学习的设想，其学习过程包括正向传播和反向传播两部分。论文发表。

在正向传播过程中，给定网络的一个输入模式时，输入信息从输入层经过隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态，由输出层单元产生一个输出模式，这是一个逐层状态更新过程，称为前向传播。论文发表。如果输出响应与期望输出的模式误差值不满足要求，那么就转入误差反向传播，将误差值沿连接通路逐层传送并修正各层连接权值。对于给定的一组样本，不断用一个个训练模式进行学习，重复前向传播和误差反向传播过程，当各个训练模式都满足要求时，BP网络训练完毕。

其中的激发函数我们采用S型函数，即f(x)=1/(1+exp(-x))。BP算法描述如下：

（2）提供训练样本：输入矢量Xk,k=1,2,..n和期望输出tk,k=1,