神经网络B网络.pptVIP

* * 3.2 隐含层神经元数 网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层简单得多 定理： 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量 * * 3.3 初始权值的选取 一般取初始权值在(-1，1)之间的随机数 威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略 选择权值的量级为 在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。 其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数 * * 3.4 学习速率 学习速率决定每一次循环训练中所产生的权值变化量 大的学习速率可能导致系统的不稳定 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间 * * 3.5 期望误差值选取 在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络 * * 3.6 应用举例 求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=[-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 … -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 … 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201] 测试集 P2=-1:0.025:1 * * 3.6 应用举例 目标矢量相对于输入矢量的图形 初始网络的输出曲线 * * 3.6 应用举例 训练1000次 2000次 * * 3.6 应用举例 训练3000次 5000次 * * 3.7 限制与不足 需要较长的训练时间 完全不能训练 选取较小的初始权值 采用较小的学习速率，但同时又增加了训练时间 局部极小值 BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解 * * 四、BP网络的改进 4.1 目标 4.2 附加动量法 4.3 误差函数改进 4.4 自适应学习速率 * * 4.1 目标 加快训练速度 避免陷入局部极小值 * * 4.2 附加动量法 利用附加动量的作用则有可能滑过局部极小值 修正网络权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上微小变化特性 该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化 * * 4.2 附加动量法 带有附加动量因子的权值调节公式 其中k为训练次数，mc为动量因子，一般取0．95左右 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。 当动量因子取值为零时，权值变化仅根据梯度下降法产生 当动量因子取值为1时，新的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了 促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，δi将变得很小，于是，Δwij(k+1)≈Δwij (k)，从而防止了Δwij=0的出现，有助于使网络从误差曲面的局部极小值中跳出 * * 4.2 附加动量法 在MATLAB工具箱中，带有动量因子的权值修正法是用函数learnbpm.m来实现的 trainbpm.m可以训练一层直至三层的带有附加动量因子的反向传播网络 下面是对单层网络使用函数trainbpm.m的情形： [W，B，epochs，errors]＝ trainbpm(W，B，’F’，P，T，TP) * * 4.3 误差函数改进 当ak趋向1时，E趋向