课件：我的人工神经网络6BP网络.ppt

主要经营：课件设计，文档制作，网络软件设计、图文设计制作、发布广告等 秉着以优质的服务对待每一位客户，做到让客户满意！ 致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求 * * * 武汉工程大学计算机科学与工程学院 * 2.5 网络训练 为了能够较好地掌握BP网络的训练过程，我们用两层网络为例来叙述BP网络的训练步骤 初始化：用小的随机数初始化每一层的权值W和偏差B，保证网络不被大的加权输入饱和 期望误差最小值error_goal 最大循环次数max_epoch 修正权值的学习速率1r，一般情况下k＝0.0l,0.7 武汉工程大学计算机科学与工程学院 * 2.5 网络训练 变量表达：计算网络各层输出矢量A1和A2以及网络误差E A1＝tansig(W1*P，B1)； A2＝purelin(W2*A1，B2)； E＝T-A； 权值修正：计算各层反传的误差变化D2和D1并计算各层权值的修正值以及新权值： D2＝deltalin(A2，E)； D1＝deltatan(A1，D2，W2)； [dlWl，dBl]＝learnbp(P，D1，lr)； [dW2，dB2]＝1earnbp(A1，D2，1r)； W1＝W1十dW1；B1＝B1十dBl； W2＝W2十dW2；B2＝B2十dB2 武汉工程大学计算机科学与工程学院 * 2.5 网络训练 计算权值修正后误差平方和 SSE＝sumsqr(T-purelin(W2*tansig(W1*P，B1)，B2)) 检查：SSE是否小于err_goal。若是，训练结束；否则继续 以上所有的学习规则与训练的全过程，可以用函数trainbp.m来完成 它的使用只需定义有关参数：显示间隔次数，最大循环次数，目标误差，以及学习速率。调用后返回训练后权值，循环总数和最终误差 TP＝[disp_freq max_epoch err_goal 1r] [W，B，epochs，errors]＝trainbp(W，B，’F’，P，T，TP) 武汉工程大学计算机科学与工程学院 * 三、网络设计 3.1 网络的层数 3.2 隐含层神经元数 3.3 初始权值的选取 3.4 学习速率 3.5 期望误差的选取 3.6 应用举例 3.7 局限性 武汉工程大学计算机科学与工程学院 * 3.1 网络的层数 理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数 增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下应优先考虑增加隐含层中神经元数 仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好 武汉工程大学计算机科学与工程学院 * 3.2 隐含层神经元数 网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层简单得多 定理： 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量 武汉工程大学计算机科学与工程学院 * 3.3 初始权值的选取 一般取初始权值在(-1，1)之间的随机数 威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略 选择权值的量级为 在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。 其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数 武汉工程大学计算机科学与工程学院 * 3.4 学习速率 学习速率决定每一次循环训练中所产生的权值变化量 大的学习速率可能导致系统的不稳定 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间 武汉工程大学计算机科学与工程学院 * 3.5 期望误差值选取 在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络 武汉工程大学计算机科学与工程学院 * 3.6 应用举例 求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=[-0.96 0.577 -0.0729 0.377