神经网络讲解与实例.ppt

1．学习率η和动量因子α BP算法本质上是优化计算中的梯度下降法，利用误差对于权、阀值的一阶导数信息来指导下一步的权值调整方向，以求最终得到误差最小。为了保证算法的收敛性，学习率η必须小于某一上限，一般取0η1而且越接近极小值，由于梯度变化值逐渐趋于零，算法的收敛就越来越慢。在网络参数中，学习率η和动量因子α是很重要的，它们的取值直接影响到网络的性能，主要是收敛速度。为提高学习速度，应采用大的η。但η太大却可能导致在稳定点附近振荡，乃至不收敛。针对具体的网络结构模型和学习样本，都存在一个最佳的学习率门和动量因子α，它们的取值范围一般0～1之间，视实际情况而定。在上述范围内通过对不同的η和α的取值进行了考察，确定本文神经网络模型的参数为：η＝0.7，α＝0.9。 2．初始权值的选择 在前馈多层神经网络的BP算法中，初始权、阈值一般是在一个固定范围内按均匀分布随机产生的。一般文献认为初始权值范围为-1～＋1之间，初始权值的选择对于局部极小点的防止和网络收敛速度的提高均有一定程度的影响，如果初始权值范围选择不当，学习过程一开始就可能进入“假饱和”现象，甚至进入局部极小点，网络根本不收敛。初始权、阈值的选择因具体的网络结构模式和训练样本不同而有所差别，一般应视实际情况而定。本文考察了不同初始权、阈值的赋值范围对网络收敛速度的影响，确定本文神经网络模型的初始权和阈值的随机赋值范围为－0.5～+0.5。 3．收敛误差界值Emin 在网络训练过程中应根据实际情况预先确定误差界值。误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。当Emin 值选择较小时，学习效果好，但收敛速度慢，训练次数增加。如果Emin值取得较大时则相反。本文神经网络的误差界值Emin为0.0001，即在迭代计算时误差值E Emin＝0.0001时，则认为学习完成，停止计算，输出结果。 4. 输入数据的预处理 在BP算法中，神经元具有饱和非线性特征（如果神经元的总输入与阈值相距甚远，神经元的实际输出要么为最大值、要么为最小值）。第一隐层中的神经元通常采用饱和非线性作用函数，学习过程中会出现饱和现象，因此要防止此层神经元进入饱和，必须限制网络输入的幅值。本文使用的标准化方法如下： 式中，P为输入量，T为输出量，P/和T/为经过归一化处理后的实验数据。 进水 UV254值 臭氧浓度， mg/L UV254去除率，％ BP网络训练误差曲线和网络模型 实验号 ? 臭氧 ?(mg/L) UV254去除率(%) 相对误差（%） 实测值 网络预测值 1 1.42 58.1 57.3 -1.47 2 2.51 78.8 77.7 -1.47 3 3.21 89.6 90.5 0.96 4 4.29 96.5 97.9 1.45 5 5.24 97.8 97.9 0.14 模型预测结果与实测值比较 　　 O3 浓度，mg/L UV254=0.116 UV254=0.105 O3 浓度，mg/L ? UV254=0.092 O3 浓度，mg/L UV254=0.076 ? O3 浓度，mg/L UV254=0.083 O3 浓度，mg/L UV254=0.128 O3 浓度，mg/L ? UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ UV254去除率，％ 利用BP网络对O3浓度的优化 结束 THANK YOU SUCCESS * * 可编辑 输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络 规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： 为阈值 其中 分析如下： 为第一层的输出，同时作为第二层的输入。 其中， 为阈值， 为激励函数 若令 （作为一固定输入） （阈值作为固定输入神经元相应的权系数） 则有： 取激励函数为 = 则 同样，取 （1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语