网络训练幻灯片.pptVIP

* 非线性映照能力,并行分布处理方式,自学习和自适应能力,数据融合的能力,多变量系统. * 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。此外，数据分组时还应尽可能考虑样本模式间的平衡。 * 由于BP神经网络的隐层一般采用Sigmoid转换函数，为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区，一般要求输入数据的值在0~1之间。因此，要对输入数据进行预处理。 * 一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。 在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力， 隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。 * 否则，网络模型的系统误差与训练样本的特性无关而趋于零即建立的网络模型没有泛化能力，也没有任何实用价值。 合理隐层节点数应在综合考虑网络结构复杂程度和误差大小的情况下用节点删除法和扩张法确定。 * 因此，仅给出训练样本误差（通常是指均方根误差RSME或均方误差、AAE或MAPE等）的大小而不给出非训练样本误差的大小是没有任何意义的。 要分析建立的网络模型对样本所蕴含的规律的逼近情况（能力），即泛化能力，应该也 * * * i， 和k分别是输入层、隐层和输出层神经元序号 * 在实际的应用过程中，利用Matlab对样本集进行离线训练，达到训练的精度要求后，可以得到BP神经网络对应各输入、输出的权值和阈值。再 利用高级语言(如C，C++等)编程构造此神经网络，嵌入到工业用监控软件中，将现场采集过来的含水检测传感器的信号和温度信号输入到神经网 络，神经网络的输出就是真正的含水率。 * * 问题一: BP网络训练过程： 样本 权初始化 向前传播阶段 Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n)) 误差测度 * 上次课内容回顾 向后传播阶段——误差传播阶段 输出层权的调整 ?wpq= αδqop =αfn′ (netq)(yq-oq)op =αoq(1-oq) (yq-oq)op 隐藏层权的调整 问题二:BP网络建模特点： 问题三:BP网络样本数据的采集： 1) 典型性好和精度高. 2) 注意避免“过拟合” 3) 样本模式间的平衡 问题四:输入/输出变量的确定及其数据的预处理： 1）主成份分析方法压减输入变量 2）对输出变量必须作与输入变量相应的预处理 问题五:BP网络拓扑结构的确定： 隐层数: 增加隐层数?降低网络误差?提高精度 网络复杂?增加训练时间 ?“过拟合” 2)隐层节点数 确定隐层节点数的最基本原则：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。 确定隐层节点数必须满足的条件： a. 隐层节点数必须小于N-1 b. 训练样本数必须多于网络模型的连接权数，一 般为2~10倍. 问题六:BP的训练： 不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。 问题七:BP网络模型的性能和泛化能力： 训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力（推广性），即有效逼近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合能力。 判断网络模型泛化能力的好坏，主要不是看测试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。 网络的泛化能力必须用非训练样本误差的大小来表示和评价。 总之，合理网络模型是必须在具有合理隐层节点数、训练时没有发生“过拟合”现象、求得全局极小点和同时考虑网络结构复杂程度和误差大小的综合结果。设计合理BP网络模型的过程是一个不断调整参数的过程，也是一个不断对比结果的过程，比较复杂且有时还带有经验性。 BP网络模型的应用——在原油含水检测中的应用 在工作温度变化的情况下，要求系统输出p’’以某个允许偏差逼近被测目标参量P，这就需要对神经网络信息融合模块进行训练和学习。 表1 含水检测传感器二维实验数据标定 神经网络结构的确定及其训练 （一）神经网络结构的确