bp和rbf的区别.docxVIP

１、BP网络　　BP神经元的传输函数为非线性函数，最常用的是logsing和tansig，有的输出层也采用线性函数（purelin)。BP网络一般为多层神经网络，经验表明一般情况下两层即可满足。如果多层BP网络的输出层采用S型传输函数，其输出值将会限制在一个较小的范围内（0，1）；而采用线性传输函数则可以取任意值。??? BP网络的学习过程分为两个阶段：（1）输入已知学习样本，通过设置网络结构和前一次迭代的权值和阈值，从网络的第一层向后计算各神经元的输出。（2）对权值和阈值进行修改，从最后一层向前计算各权值和阈值对总误差的影响（梯度），据此对各权值和阈值进行修改。??? BP网络的学习算法：最速下降BP算法（traingd）、动量BP算法（traingdm）、学习率可变的BP算法（traingdx）、弹性BP算法（trainrp）、变梯度算法（traincgf，traincgp,traincgb,trainscg）、拟牛顿算法（trainoss）、LM算法（trainlm）。?? 提高BP网络泛化能力的方法：归一化法和提前终止法。?? BP网络的局限性：（1）学习率与稳定性的矛盾：梯度算法进行稳定学习的学习率较小，所以通常学习过程得收敛速度很慢。附加动量法通常比简单的梯度算法快，因为在保证学习时间的同时，可以采用很高的学习率，但对于实际应用仍然很慢。以上两种个方法只适用于希望增加训练次数的情况。如果有足够的存储空间，则对于中小规模的神经网络可采用LM算法；如果存储空间有问题，则可采用其他多种快速算法，例如对于大规模的神经网络采用trainrp或trainscg(变梯度算法的一种）。（2）学习率的选择缺乏有效的方法。对于线性网络，学习率选择的太大，容易导致学习不稳定；反之，学习率选择的太小，则导致无法忍受的过长的学习时间。对于非线性网络，还没有找到一种简单易行的方法。（3）训练过程可能限于局部最小。在实际应用过程中，BP网络往往在训练过程中，也可能找不到某个问题具体地解，比如在训练过程中陷入局部最小的情况。此时可以通过改变其初始值，并经过多次训练，以获得全局最小。（4）没有确定隐含层神经元数的有效方法。大部分情况据经验公式来的。BP网络的设计：主要包括输入层、隐层、输出层及各层之间的传输函数几个方面。（1）网络层数通常选择两层（一个隐层），不限制隐层的节点数。（2）输入层的节点数：输入矢量的维数（3）输出层的节点数：待分类模式数来确定（4）隐层的节点数：太多，导致学习时间过长；太少，容错性差，识别未经学习的样本能力 低。通常据经验公式确定。（5）传输函数：通常采用S型函数即sigmoid型函数。采用此函数时，整个网络的输出就限制在一个较小的范围内（0-1之间的连续量）；如果最后一层是Pureline函数，那么整个网络的输出可以取任意值。（6）训练方法及参数选择：据具体情况选择训练函数和学习函数。2、径向基函数（RBF）网络?? RBF网络是一种局部逼近网络，对于每个训练样本，只需要对少量的权值和阈值进行修正，因此训练速度很快。?? RBF网络的工作原理：（1）从函数逼近的观点来看：若把网络看成是对位置函数的逼近，则任何函数都可以表示成一组奇函数的加权和。在径向基网络中，相当于选择各隐层神经元的传输函数，使之构成一组基函数逼近未知函数。（2）从模式识别的观点看：总可以将地位空间非线性可分为的问题映射到高维空间，使其在高维空间线性可分。在径向基网络中，隐层的神经元数目一般比标准的BP网络的要多，构成高位的隐含单元空间，同时，隐层神经元的传输函数为非线性函数，从而完成从输入控件到隐层单元的非线性变换。只要隐层神经元的数目足够多，就可以使输入模式在隐层的高维输出空间线性可分。在径向基网络中，输出层为线性层，完成对隐层空间模式的线性分类，即提供从隐层单元空间到输出空间的一种线性变换。对比我个人目前的资料显示，RBF网络的预测精度要大于BP网络，同时也显示RBF网络的训练时间明显小于BP网络。在RBF网络中spread参数影响RBF网络最终的预测精度。理论上讲，spread的值越大，逼近过程就比较平滑，但是逼近误差会比较大。spread越小，对函数的逼近就越精确，但是逼近的过程就越不平滑。由于spread的大小对网络最终的逼近精度有着比较大的影响，因此在设计网络时应多调整几个spread的值，直到达到比较好的精度。下面举一个用RBF进行预测的例子：clear all;close all;y=rands(67,7);%用rand函数随机产生67组7维向量组P=y(:,1:4);%定义输入数据T=y(:,5:7);%定义输出数据for i=1:4net=newrbe(P,T,i+1);y(i,=sim(net,P_test);end说明：i+1