neural computing.pptVIP

Media Computing CS@BIT Media Computing CS@BIT 第三讲 神经计算Lecture 3 Neural Computing(Part 2) 1 神经网络模型(1) 1 神经网络模型(2) 2 BP神经网络 (1) 2 BP神经网络 (2) 输入向量、输出向量的维数、网络隐藏层数量和各个隐藏层神经元数量如何决定？ 实验表明：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。 2 BP神经网络 (3) 3 基本BP算法分析（1） 神经元的网络输入： Si=x1w1i+x2w2i+…+xnwni 神经元的输出： 3 基本BP算法分析（2）输出函数分析 应该将y的值尽量控制在收敛比较快的范围内 其它函数作为激活函数，只要函数是处处可导的 3 基本BP算法分析（3） 训练过程 样本：(输入向量，理想输出向量)= (Xp，Yp) 权初始化：“小随机数” 1、向前传播阶段 （1）一个样本(Xp，Yp)，实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L)) 这个过程也是网络完成训练后正常运行时的执行过程 3 基本BP算法分析（4） 训练过程 2、向后传播阶段——误差传播阶段 （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 网络关于第p个样本的误差测度： 3 基本BP算法分析（5）误差传播分析 3 基本BP算法分析（6） 误差传播分析 3 基本BP算法分析（7） vhp=vhp+?vhp ?vhp=αδpk-1ohk-2 =αfk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =αopk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 4 基本BP算法(1) 已知样本集：A={(X1,Y1),(X2,Y2),…,(Xt,Yt)} 1 初始化： M层中的第k层网络权重 W(h)=小随机数[-0.2, +0.2] 精度ε或/和迭代次数，学习率α 精度变量E=ε+1； 2 while Eε do E=0;? w (k)ij=0； 对A中的每一个样本（Xp,Yp）： 计算出Xp对应的实际输出Op； 计算出Ep；E=E+Ep； 计算?p w (k)ij； 计算? w (k)ij=? w (k)ij+?p w (k)ij； k=M-1； while k≠0 do 计算?p w (k)ij； 计算? w (k)ij=? w (k)ij+?p w (k)ij； k=k-1 w (k)ij= w (k)ij+ ?w (k)ij; E=E/2.0 4 基本BP算法(2) 收敛速度比较慢 局部极小 5 BP算法几个问题(1) 5几个问题的讨论 （2） 稳定性问题 用修改量的综合实施权的修改 连续变化的环境，它将变成无效的 步长问题 BP网络的收敛是基于无穷小的权修改量 步长太小，收敛就非常慢 步长太大，可能会导致网络的瘫痪和不稳定 自适应步长，使得权修改量能随着网络的训练而不断变化。[1988年，Wasserman] 6 径向基函数网络7 小波函数网络 练习题 * 最早的神经网络模型:MP模型,(McCullochPitts,1943） 神经元之间的联系方式只有兴奋性和抑制性突触联系两种；神经元的物理组织不会随时间的改变而改变。 感知器（Perceptron）模型(1957年由Rosenblatt设计): 模型由阈值神经单元组成，实质就是一个连续的可调的MP神经网络。 Hopfield网络(1982)是最典型的反馈网络模型，是人们研究的最多的模型之一。由相同的神经元构成的单层、并且不具学习功能的自联想网络。它需要对称联结。具有完成约束优化和联想记忆等功能。Hopfield模型开拓了神经网络用于联想记忆和优化计算的新途径。 BP模型(多层感知网络模型):前馈的三层网络：输入层、隐含层、输出层。学习规则：有教师学习。 1986年Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Proce