Elman网络.pptVIP

例 * 神经网络原理与应用 * 学习工作规则 * 神经网络原理与应用 * * 神经网络原理与应用 * * 神经网络原理与应用 * 讨论分析 1。 η(t) 调整粗调η(t)0.5, 细调η(t)=0.5 2. u,w 归一化，加快w-u的速度 3。W(0) 初始化，视情况分析，三种方法 p141 4。Ng(t)更新，Ng(0)=1/2~1/3 整个区域 5。回想， ug=1 当dg=min dj ug=0 其余 * 神经网络原理与应用 * 实例 自组织特征映射网络的设计 假设输入矢量为100个分布在00到900的二值单位输入矢量，首先定义输入矢量 angles=0:0.5*pi/99:0.5*pi; P=[sin(angles);cos(angles)]; 然后建立一个自组织特征映射网络 net=newsom(minmax(P),[10],gridtop,linkdist,0.9,1000,0.02,1); 最后利用函数train.m对网络进行训练 net.trainParam.show=50; net.trainParam.epochs=1000; net=train(net,P); * 神经网络原理与应用 * SOM 一维例(demosm1.m) 结果 * 神经网络原理与应用 * * 神经网络原理与应用 * SOM二维例(demosm2.m) * 神经网络原理与应用 * SOM2最后结果 * 神经网络原理与应用 * 小结 竞争网络的类型 ART1, SOM 2. 学习算法 内星,外星 * 神经网络原理与应用 * 在学习算法上，它模拟生物神经系统依靠神经元之间的兴奋、协调与抑制、竞争的作用来进行信息处理的动力学原理指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。 以竞争型神经网络为基础可以构成一些具有自组织能力的网络。如:自适应共振理论（Adaptive Resonance Theory）网络,自组织特征映射（Self-Organizing Feature Map）网络，对向传播（Counter Propagation）网络。 * 神经网络原理与应用 * 两种联想学习规则 1。 内星法（Instar)学习规则 目的：权向量逼近输入向量 输入端出现学习过的向量，产生1的输入加权和，否则，小于1。 * 神经网络原理与应用 * 内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响应特定的输入矢量P，它是借助于调节网络权矢量W近似于输入矢量P来实现的。 单内星中对权值修正的格劳斯贝格内星学习规则为： (2．1) 由(2．1)式可见，内星神经元联接强度的变化Δw1j是与输出成正比的。如果内星输出a被某一外部方式而维护高值时，那么通过不断反复地学习，权值将能够逐渐趋近于输入矢量pj的值，并趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量的目的。另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习。 * 神经网络原理与应用 * 现在来考虑当不同的输入矢量p1和p2分别出现在同一内星时的情况。 首先，为了训练的需要，必须将每一输入矢量都进行单位归一化处理。 当第一个矢量p1输入给内星后，网络经过训练，最终达到W＝(p1)T。此后，给内星输入另一个输入矢量p2，此时内星的加权输入和为新矢量p2与已学习过矢量p1的点积，即： 因为输入矢量的模已被单位化为1，所以内星的加权输入和等于输入矢量p1和p2之间夹角的余弦。 * 神经网络原理与应用 * 根据不同的情况，内星的加权输入和可分为如下几种情况： 1) p2等于p1，即有θ12＝0，此时，内星加权输入和为1； 2) p2不等于p1，内星加权输入和为0； 3)当p2＝-p1，即θ12＝180°时，内星加权输入和达到最小值-1。 由此可见，对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生1的加权输入和；而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于1。 当多个相似输入矢量输入内星，最终的训练结果是使网络的权矢量趋向于相似输入矢量的平均值。 * 神经网络原理与应用 * 内星网络中的相似度是由偏差b来控制，由设计者在训练前选定，典型的相似度值为b＝-0.95，这意味着输入矢量与权矢量之间的夹角小于18°48’。若选b＝-0.9时，则其夹角扩大为25°48’。 一层具有s个神经元的内星，可以用相似的方式进行训练，权值修正公式为： MATLAB神经网络工具箱中内星学习规则的