人工神经网络 的研究方法及应用2 研究生现代控制工程 人工智能控制 教学.pptVIP

对于不同的网络结构，网络模型的误差或性能和泛化能力也不一样。因此，还必须比较不同网络结构的模型的优劣。一般地，随着网络结构的变大，误差变小。通常，在网络结构扩大（隐层节点数增加）的过程中，网络误差会出现迅速减小然后趋于稳定的一个阶段，因此，合理隐层节点数应取误差迅速减小后基本稳定时的隐层节点数。 总之，合理网络模型是必须在具有合理隐层节点数、训练时没有发生“过拟合”现象、求得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。设计合理BP网络模型的过程是一个不断调整参数的过程，也是一个不断对比结果的过程，比较复杂且有时还带有经验性。这个过程并不是有些作者想象的（实际也是这么做的）那样，随便套用一个公式确定隐层节点数，经过一次训练就能得到合理的网络模型（这样建立的模型极有可能是训练样本的错误反映，没有任何实用价值）。 * 虽然神经网络的类型很多，建立神经网络模型时，根据研究对象的特点，可以考虑不同的神经网络模型。 前馈型BP网络即误差逆传播神经网络是最常用、最流行的神经网络。BP网络的输入和输出关系可以看成是一种映射关系，即每一组输入对应一组输出。由于网络中神经元作用函数的非线性，网络实现是复杂的非线性映射。关于这类网络对非线性的逼近能力，Hornikl等分别利用不同的方法证明了如下一个事实：仅含有一个隐层的前向网络能以任意精度逼近定义在Rn的一个紧集上的任意非线性函数。误差反向算法是最著名的多层前向网络训练算法，尽管存在收敛速度慢、局部极值等缺点，但可通过各种改进措施来提高它的收敛速度、克服局部极值现象，而且具有简单、易行、计算量小、并行性强等特点，目前仍是多层前向网络的首选算法。 * MATLAB神经网络工具箱的应用 在网络训练过程中使用的是Matlab 6.0 for Windows软件，对于BP神经元网络的训练使用了Neural Networks Toolbox for Matlab。美国的Mathwork公司推出的MATLAB软件包既是一种非常实用有效的科研编程软件环境，又是一种进行科学和工程计算的交互式程序。MATLAB本身带有神经网络工具箱，可以大大方便权值训练，减少训练程序工作量，有效的提高工作效率. * 神经网络模型参数的确定： 由于传统的误差反传BP算法较为成熟，且应用广泛，因此努力提高该方法的学习速度具有较高的实用价值。BP算法中有几个常用的参数，包括学习率η，动量因子α，形状因子λ及收敛误差界值E等。这些参数对训练速度的影响最为关键。 * 隐层的数目: 理论上虽然证明了这类网络的逼近能力，对于网络结构的要求，并没有给出明确的说明。因而在应用中神经网络模型的结构确定常常有人为的主观性和艺术性，缺乏一个指导原则。而网络训练与结构紧密相关，太大的网络结构在训练时效率不高，而且还会由于过拟合(overfitting)造成网络的性能脆弱，泛化能力(generalization ability)下降；太小的网络可能就根本不收敛。当选取隐层数为1时，BP网络不收敛，而当选取隐层数为2时，BP网络训练较好。考虑到本研究的特点，结合不同隐层网络结构的训练结果，本文选择了隐层数L=2的网络结构模型。 2375 Epochs 隐层数为1节点数6 不同隐层数训练误差曲线 隐层数为2 节点数12×6 * 隐层神经元数的选择 隐层神经元数的选择是一个十分复杂的问题。因为没有很好的解析式表示，可以说隐层神经元数与问题的要求、输入层与输出层神经元的数量、训练样本的数量等都有直接关系。事实上隐层神经元太少不可能将网络训练出来，但太多又使学习时间过长，使网络不“不强壮”，泛化能力下降，即不能识别以前没有直接接收到的样本，容错性差。 当隐层数为20×10和8×4时的训练结果: 隐层数为2节点数8×4 隐层数为2节点数20×10 图6-2 相同隐层数不同节点数训练误差曲线 * 神经网络模型的各层节点数分别为：输入层2个；第一隐层12个；第二隐层6个；输出层1个。 综合以上研究内容，建立光催化臭氧氧化处理自来水工艺神经网络模型如图所示。 输入层 输出层 隐层 BP网络模型 臭氧浓度 入口UV254 UV254去除率 * 算法过程 　　　1. 从随机的权值开始 　　　2. 反复应用这个感知器到每个训练样例，只要它误分类样例就修改感知器的权值 　　　3. 重复这个过程，直到感知器正确分类所有的训练样例 感知器训练法则 其中，若采用梯度下降法，则 为　　的梯度 * 1．