人工神经网络ＢＰ算法的实现.docVIP

人工神经网络ＢＰ算法的实现 　　摘要：BP网络是一种得到广泛应用的人工神经网络模型.本文简要介绍了BP算法的原理，并给出了其在VC++6.0中的实现方法。 　　关键词：人工神经网络；BP算法；程序 　　中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)05-00ppp-0c 　　 　　1 引言 　　 　　人工神经网络是一种信息处理系统，它有很多种模型。其中有一种用误差传播学习算法（Error Back-Propagation，即BP算法）进行训练的多层前馈神经网络，简称为BP网络。它是目前人工神经网络中应用最为广泛的网络，在文字识别、模式分类、文字到声音的转换、图像压缩、决策支持等方面都有广泛的应用。本文对BP算法进行简单的介绍，并给出其在VC++6.0中的实现方法。 　　 　　2 BP算法的原理 　　 　　2.1 BP网络的结构 　　BP网络是由一组相互连接的运算单元组成，其中每一个连接都有相对应的权值。网络结构如图1(以三层网络为例)所示，它包括输入层节点、输出层节点，一层或多层隐含层节点。在BP网络中，层与层之间采用全互连方式，同一层的节点之间不存在相互连接。 　　 　　2.2 BP算法的原理 　　BP算法简单的来说，是把训练样本从输入层输入，通过每个节点对应的阈值、函数以及节点之间连接权值的运算，经过输入层、隐含层，传播到输出层得到计算输出，该输出和其对应的期望输出比较，得出误差。如果误差不符合要求，将误差沿输入相反的方向进行传播并沿误差降低方向调节权值和函数的阈值。用多个训练样本对网络进行反复的训练，直至误差符合要求。 　　2.3 算法中主要的数据结构和用到的公式 　　为方便说明，对算法中的主要数据结构做如下约定。网络为三层，P[m]为单个样本输入数据， m为输入向量维数，也等于输入层节点数；T[n]为单个样本期望输出数据，n为输出向量维数，也等于输出层节点数；W[h][m]为输入层至隐层权值，其中h为隐层节点数；V[n][h]为隐层至输出层权值；X[h]为隐层的输入；O[h]为隐层的输出；U[n]为输出层的输入；Y[n]为输出层的计算输出；YZH[h]为隐层的阈值；YZO[n]为输出层的阈值；DeltaO[n]为输出层一般化误差；DeltaH[h]为隐层一般化误差；E为预先设定的总体误差；η为学习速率参数；设隐含层和输出层的激活函数采用S型函数，即lxg02.tif。 　　算法中主要公式如下： 　　隐层第 个单元的输入：lxg03.tif（1） 　　隐层第 个单元的输出：lxg04.tif （2） 　　输出层第 个单元的输入： lxg05.tif （3） 　　输出层第 个单元的输出： lxg06.tif （4） 　　输出层单元 的一般化误差：DeltaO[i]=(T[i]-Y[i])?Y[i]?(1-Y[i]) （5） 　　隐含层单元 的一般化误差：lxg07.tif（6） 　　输出层至隐含层的权值调整：△V[i][j]=η?DeltaO[i]?O[j] （7） 　　输出层阈值调整：△YZO[i]=η?DeltaO[i] （8） 　　隐含层至输入层的权值调整：△W[i][j]= η?DeltaH[i] ?P[j] （9） 　　隐含层阈值调整：△YZH[i]=η?DeltaH[i] （10） 　　2.4 算法的描述 　　算法可描述如下： 　　(1)初始化：在小随机值上初始化连接权值和阈值；给出各层节点数、η、预定误差。 　　(2)输入训练样本集中一个样本。 　　(3)依据式1、2、3、4计算该样本的实际输出，和教师信号做比较，依据公式5和6分别求输出层单元和隐含层单元一般化误差。 　　(4)依据误差根据公式7、8、9、10分别调整输出层和隐含层的连接权和阈值。 　　(5)对训练样本集中所有样本重复2到4。 　　(6)训练次数加1。 　　(7)如果总误差小于预定值则执行8，否则对训练样本集返回2重复训练。 　　(8)记下权值和阈值，结束本次训练。 　　3 BP算法关键步骤在VC++6.0中实现 　　首先按照2.3所述定义数据结构，再定义一个放学习样本的结构: 　　struct { 　　double input[m]; 　　double teach[n]; 　　}Study_Data[N]; 　　以下是实现算法公式的各个子程序： 　　/*初始化权、阈值子程序*/ 　　initial() 　　{ 　　srand( (unsigned)time( NULL ) ); 　　for(int i=0;ih;i++) 　　{ 　　for(int j=0;jm;j++) 　　W[i][j]= (doubl