反向传播网络BP网络.docVIP

我的空间? 主页|空间装扮 博客|写新文章 相册|上传照片 好友|找新朋友 档案|留言板 我的应用? 投票 转帖 更多应用 向传播网络（BP网络）　　1．概述　　前面介绍了神经网络的结构和模型，在实际应用中，我们用的最广泛的是反向传播网络（BP网络）。下面就介绍一下BP网络的结构和应用。　　BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所规定的。backpropagation就是指的为非线性多层网络计算梯度的方法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。神经网络工具箱提供了许多这样的算法。这一章我们将讨论使用这些规则和这些算法的优缺点。　　一个经过训练的BP网络能够根据输入给出合适的结果，虽然这个输入并没有被训练过。这个特性使得BP网络很适合采用输入/目标对进行训练，而且并不需要把所有可能的输入/目标对都训练过。为了提高网络的适用性，神经网络工具箱提供了两个特性--规则化和早期停止。这两个特性和用途我们将在这一章的后面讨论。这一章还将讨论网络的预处理和后处理技术以提高网络训练效率。　　2．基础　　网络结构　　神经网络的结构前一章已详细讨论过，前馈型BP网络的结构结构和它基本相同，这里就不再详细论述了，这里着重说明以下几点：　　1． 常用的前馈型BP网络的转移函数有logsig，tansig，有时也会用到线性函数purelin。当网络的最后一层采用曲线函数时，输出被限制在一个很小的范围内，如果采用线性函数则输出可为任意值。以上三个函数是BP网络中最常用到的函数，但是如果需要的话你也可以创建其他可微的转移函数。　　2． 在BP网络中，转移函数可求导是非常重要的，tansig、logsig和purelin都有对应的导函数dtansig、dlogsig和dpurelin。为了得到更多转移函数的导函数，你可以带字符deriv的转移函数：　　tansig(deriv)　　ans = dtansig　　网络构建和初始化　　训练前馈网络的第一步是建立网络对象。函数newff建立一个可训练的前馈网络。这需要4个输入参数。第一个参数是一个Rx2的矩阵以定义R个输入向量的最小值和最大值。第二个参数是一个颟顸每层神经元个数的数组。第三个参数是包含每层用到的转移函数名称的细胞数组。最后一个参数是用到的训练函数的名称。　　举个例子，下面命令将创建一个二层网络,其网络模型如下图所示。　　 　　它的输入是两个元素的向量，第一层有三个神经元，第二层有一个神经元。第一层的转移函数是tan-sigmoid，输出层的转移函数是linear。输入向量的第一个元素的范围是-1到2，输入向量的第二个元素的范围是0到5，训练函数是traingd。　　net=newff([-1 2; 0 5],[3,1],{tansig,purelin},traingd);　　这个命令建立了网络对象并且初始化了网络权重和偏置，因此网络就可以进行训练了。我们可能要多次重新初始化权重或者进行自定义的初始化。下面就是初始化的详细步骤。　　在训练前馈网络之前，权重和偏置必须被初始化。初始化权重和偏置的工作用命令init来实现。这个函数接收网络对象并初始化权重和偏置后返回网络对象。下面就是网络如何初始化的：　　net = init(net);　　我们可以通过设定网络参数net.initFcn和net.layer{i}.initFcn这一技巧来初始化一个给定的网络。net.　initFcn用来决定整个网络的初始化函数。前馈网络的缺省值为initlay，它允许每一层用单独的初始化函数。设定了net.initFcn ，那么参数net.layer{i}.initFcn 也要设定用来决定每一层的初始化函数。　　对前馈网络来说，有两种不同的初始化方式经常被用到：initwb和initnw。initwb函数根据每一层自己的初始化参数(net.inputWeights{i,j}.initFcn)初始化权重矩阵和偏置。前馈网络的初始化权重通常设为rands，它使权重在-1到1之间随机取值。这种方式经常用在转换函数是线性函数时。initnw通常用于转换函数是曲线函数。它根据Nguyen和Widrow[NgWi90]为层产生初始权重和偏置值，使得每层神经元的活动区域能大致平坦的分布在输入空间。它比起单纯的给权重和偏置随机赋值有以下优点：（1）减少神经元的浪费（因为所有神经元的活动区域都在输入空间内）。（2）有更快的训练速度（因为输入空间的每个区域都在活动的神经元范围中）。　　初始化函数被newff所调用。因此当网络创建时，它根据缺省的参数自动初始化。init不