个神经元同时处于兴奋状态,则它们之间的连接权值巩应.PDFVIP

(1)不含反馈的前向网络，图2.4(a) (2)从输出层到输入层有反馈的前向网络，图2.4(b) (3)层内有反馈的前向网络，图2.4(c) (4)相互结合型网络，图2.4(d) 2.4人工神经网络的学习规则 2.4.1人工神经网络的学习方式 1.死记学习 联想记忆 (自、他)，先设计成记忆模式为稳态，给定有关信息 时就回忆起来。如HNN网络。 有教师指导的学习 给定输入模式，教师指定期望输出，通过调整权值。前 向网络，如BP算法。 3.竞争学习 给定一个输入模式，使某些 (个)神经元兴奋。如ART网络。 2.4.2人工神经网络学习规则 1.相关规则 依据连接之间的激活水平改变权值。(死记学习)。 (1)D.D.Hebb学习规则 网络中若第i与第I个神经元同时处于兴奋状态，则它们之间的连接权值巩应 当加强，即: W,y(n+1)一W,}n()+AW,, (2.8) A巩二ay,矶 a0学习速率系数 要求:YE{0,1}或YE一【1,+1] Hopfield网络使用修正的Hebb规则: AWij一(2Y,-1版 -1) (2.9) 要求:YE{0,1}或Y二{{-1,+1} 2.纠错规则 依据输出节点的外部反馈来改变权系，使实际输出与期望输出相 一致。(有教师指导的学习) (2)感知器的学习规则 ①如果一个节点的输出正确，则连接权值不变。 ②如果输出本应为0而为1，则相应地减小权值。 ③如果输出本应为1而为0，则相应地增加权值。 (3)d学习规则 网络中神经元1与神经元i的连接权值为叽，则对权值的修正为: A残二776,Y,. (2.10) 其中:，为学习率;S;=不一丫为i的偏差，即i的实际输出和教师信号之差。S 学习规则仅用于单层网络的学习规则，如单层感知器的学习。 (4)广义占学习规则 用于多层网络，对于输出层节点和相邻隐层节点的间的权值修正用S学习规则， 对于其它层间的连接权值，则使用广义占学习规则.设i为隐层节点，其偏差的计算 为: S一‘，n(et;)16,W. (2.“) △巩二rid;丫 (2.12) 其中:a*为i的上一层节点k的偏差，孔为i与k间的连接权值。i的下一层节点 的偏差可以用递归的方法得到。 (5)Boltzmann机学习规则 (模拟退火算法) 模拟退火算法是应用于神经网络中一种重要的算法叫，该算法能找到全局最优 解。1953年 N.Meropols等人研究二维相变提出来的，1983年 G.E.Hinton, T.J.Sejnowski和D.H.Ackley把这种方法用于神经网络，提出了Boltzmann机。1984 年S.Geman和D.Gema。给出T退火率 (温度随时间变化率)为:T(t)/T(O)a1/lnt, 其中T(0)是初始温度。这个退火过程太慢，因而效率低，难于实用。1985年Harold HSzu提出了一种快速模拟退火算法，称为CauchyMachine，使这种方法有了实际 应用的可能性，退火率为:T(t)/T(0)二1/te 经典的模拟退火算法中使用了高斯型生成函数， G,x(，一一(Tx2t()) (2.13) 其中T(是温度，决定了概率密度分布的特征宽度，这种分布函数远处是指数 型衰减的，因而代表一种局域型搜索过程，为了能找到全局最小，温度要下降的很 慢，Geman证明只要满足退火率为: T(r) 1