[工学]神经网络-第四章.ppt

神经网络原理 第4章 反向传播网络 反向传播网络也称为BP (Back Propagation) 网络，采用推广的W-H学习规则-BP算法 BP网络的主要用途： 函数逼近 模式识别 分类 数据压缩： 在人工神经网络的实际应用中，绝大多数的网络模型都是BP网络及其变化形式。 1 BP网络模型与结构 BP网络模型 1 BP网络模型与结构 ▲ BP网络的激活函数一定要可微 多数情况下，隐层为S型，输出层为线性。 输入与输出关系要求：非线性、光滑、取值连续，分类精确 ▲ 网络误差测定 第p个样本的误差测度 网络关于整个样本集的误差测度 1 BP网络模型与结构 权值与偏差： 隐层 输出层 1 BP网络模型与结构 一组输入与输出 多组输入与输出 1 BP网络模型与结构 关系表达式： 1.输入向量、输出向量的维数、网络隐藏层的层数和 各个隐藏层神经元的个数的决定。 2. BP网很多都选用二级网络。 2 BP学习规则 是有指导训练的前馈多层网络训练算法，靠调节各层的加权，使网络学会由输入输出对组成的训练组。 类似于感知器中线性单元和非线性单元的训练算法，执行优化的基本方法是梯度下降法。 求多元函数的U(x1,x2,…,xn)的极小值： 若出发点是M0=(x10,x20,…,xn0), 则自变量按如下规则改变： 2 BP学习规则 ▲ BP算法的主要思想： 通过引入误差函数，对于学习样本P及目标输出T，利用梯度下降法来调整权值W和B，使网络的实际输出A与T尽可能接近，而使误差尽量达到最小。 其过程是用输出层的误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 ▲ BP算法从形式上看，分为两个计算过程： 1．信息的正向传递； 2. 调整W和B的误差反向传播 2 BP学习规则 1.信息的正向传递 ▲ 隐层中第i个神经元输出： ▲ 输出层中第k个神经元输出： 2 BP学习规则 ▲ 误差函数 一组输入情形： 2 BP学习规则 q组输入情形： 2 BP学习规则 2.误差反向传播 ▲ 输出层权值、偏差的调整 因为 故由最速下降法，得 权值改变量： 2 BP学习规则 偏差改变量： 其中 ▲ 隐层权值、偏差的调整 因为 2 BP学习规则 故由最速下降法，得 其中 误差反向传播的流程图与图形解释 3 误差反向传播的流程图与图形解释 S型激活函数 4 BP网络的训练及其设计过程 ▲ 设计Bp网络的结构包括以下内容： 网络的层数，每层神经元数，每层的激活函数等 ▲ BP网络的训练步骤： 1）初始化 每层权值和偏差，期望误差，最大循环次数，学习率等 2）建立多层前向网络 函数newcf.m或newff.m，格式如下： net=newcf(minmax(P), [5,1],{‘tansig’ ‘purelin’}, ‘traingd’); 3) 训练 net=train(net,P,T) 4 BP网络的训练及其设计过程 例4.1 用于函数逼近的BP网络的设计。 ▲ 迭代次数：经过4000-7000次训练成功，误差小于给定的门限误差0.02。 ▲ 误差变化图：逼近曲线效果良好 ▲ 结论：二层BP网络可很好地逼近非线性函数。 5 BP网络的设计 考虑因素：层数，每层神经元数，初始化，学习率等 1 网络的层数 ▲ 理论结果：具有偏差和至少一个S型隐含层的网络，能够逼近任意的有理函数。 ▲ 层数对网络影响：增加层数可进一步降低误差，提高精度；不足之处是使网络结构复杂化。 ▲ 隐层节点数对网络影响：可提高精度，降低误差；虽然也增加了一点网络的复杂度，但比增加层数要低 ▲ 设计的原则：首先应选择层数较少的网络，这样可降低复杂度；同时为了提高精度和降低误差，应先考虑增加隐层的神经元数目。 5 BP网络的设计 5 BP网络的设计 例4.2 考虑两个单元输入的联想问题：其输入和输出为： P=[-3 2], T=[0.4, 0.8] 目标误差：0.001 该问题可采用自适应网络解决： w=0.08, b=0.64, e=T-A=0