Matlab下神经网络编程.pdfVIP

Matlab下神经网络编程 郎君 信息检索研究室 2003年11月30 日 引用Simply的PPT 词义消岐神经网络实验准备 在科技创新时使用的神经网络的基础上， 再次学习了Matlab下的神经网络编程主要 学习到如下15条结论 1、2 of 15 BP网络的激活函数必须是处处可微的。 S型激活函数所划分的区域是一个非线性的 超平面组成的区域，它是比较柔和、光滑 的任意界面，因而它的分类比线性划分精 确、合理，这种网络的容错性较好。另一 个重要特点是由于激活函数是连续可微 的，它可以严格利用梯度法进行推算。 3、4 of 15 一般情况下BP网络结构均是在隐含层采用 S型激活函数，而输出层采用线性激活函 数。 动手编写网络的程序设计之前，需要确定 神经网络的结构，其中包括以下内容：网 络的层数、每层的神经元数、每层的激活 函数。 5、6 of 15 trainbp.m提供了两层和三层的BP训练程 序，用户可以根据程序来选取不同的参 数。 神经网络具有泛化性能，但是该性能只能 对被训练的输入/输出对在最大值范围内的 数据有效，即网络具有内插植特性，不具 有外插植特性，超出最大训练的输入必将 产生大的输出误差。 7、8 of 15 理论上已经证明：具有偏差和至少一个S型隐含层加上一 个线性输出层的网络，能够逼近任何有理函数。 隐含层层数的经验选择：对于线性问题一般可以采用感知 器或自适应网络来解决，而不采用非线性网络，因为单层 不能发挥出非线性激活函数的特长；非线性问题，一般采 用两层或两层以上的隐含层，但是误差精度的提高实际上 也可以通过增加隐含层中的神经元数目获得，其训练效果 也比增加层数更容易观察和调整，所以一般情况下，应优 先考虑增加隐含层中的神经元数。 9 of15 隐含层的神经元数的经验确定：通过对不 同神经元数进行训练对比，然后适当的增 加一点余量。 10 of 15 初始权值的经验选取：威得罗等人分析了两层网 络是如何对一个函数进行训练后。提出一种选定 r S 1 初值的策略：选择权值的量级为 ，其中S1为 第一层神经元数目。利用他们的方法可以在较少 的训练次数下得到满意的训练结果。在Matlab工 具箱中可以采用nwlog.m和nwtan.m来初始化隐 含层权值W1和B1。其方法仅需要使用在第一层 隐含层的初始值的选取上，后面层的初始值仍然 采用(-1,1)之间的随机数。 11、12 of 15 学习速率的经验选择：一般情况下倾向于 选取较小的学习速率以保证系统的稳定 性，学习速率的选取范围在0.01~0.8之间。 期望误差的选取：一般情况下，作为对 比，可以同时对两个不同的期望误差值的 网络进行训练，最后通过综合因素的考虑 来确定其中一个网络。 13 of 15 采用附加动量法使反向传播减少了网络在 误差表面陷入低谷的可能性有助于减少训 练时间。Matlab工具箱中提供的 trainbpm.m可以训练一层直至三层的带有 附加动量因子的反向传播网络。 14 of 15 太大的学习速率导致学习的不稳定，太小 值又导致极长的训练时间。自适应学习速 率通过保证稳定训练的前提下，达到了合 理的高速率，可以减少训练时间。Matlab 工具箱中带有自适应学习速率进行反向传 播训练的函数为trainbpa.m，它可以训练至 三层网络。 15 of 15 可以将动量法和自适应学习速率结合起来 利用两方面的优点，这个技术已经编入函 数trainbpx.m 中。 Thanks a lot!