《人工神经网络课件》课件.ppt

第5章 对传网 5.1 网络结构 5.2 网络的运行 5.3 Kohonen层的训练 5.4 Kohonen层联接权的初始化方法 5.5 Grossberg层的训练 5.6 补充说明 第5章 对传网 Robert Hecht-Nielson 在1987年提出了对向传播神经网络(Counter propagation Networks，CPN)，简称对传网。 CPN为异构网： Kohonen1981年提出的自组织映射(Self-organization map，SOM)算法—Kohonen层; Grossberg1969年提出的散射星(Outstar)算法——Grossberg层。 第5章 对传网 Kohonen层—无导师学习算法，解决网络隐含层的理想输出未知问题； Grossberg层—有导师学习算法，解决输出层按系统要求给出指定输出结果的问题。 训练时间短：BP的1%； 应用面：比较窄。 让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路。 5.1 网络结构 5.1 网络结构 以Kohonen层的神经元为“中心”讨论问题 K1 W1=(w11，w21，…，wn1)T V1=(v11，v12，…，v1m) K2 W2=(w12，w22，…，wn2)T V2=(v21，v22，…，v2m) …… Kh Wh=(w1h，w2h，…，wnh)T Vh=(vh1，vh2，…，vhm) 5.2 网络的运行 除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因素 。 CPN是采用竞争型网络学习规则的异构网。 竞争学习：同一层次的神经元相互竞争，胜利的神经元修改与其连接的权值－模式分类。 5.2 网络的运行 5.2.1 Kohonen层 “强者占先、弱者退出” （the winner takes all ） knetj=XWj = (x1，x2，…，xn)(w1j，w2j，…，wnj) T = w1j x1+w2j x2+…+wnj xn 向量形式 KNET=(knet1，knet2，…，kneth) 5.2.1 Kohonen层 K1，K2，…，Kh的输出k1，k2，…，kh构成向量 K=(k1，k2，…，kh) 1≦j≦h 1 knetj=Max{ knet1，knet2，…，kneth } kj= 0 其它 上式等价于 几何意义： 学习目的：寻找与输入向量X最大相似度（最接近）的Wo 5.2.2 Grossberg层 Grossberg层的每个神经元Gj （1≦j≦m） gnetj= K (v1j，v2j，…，vhj)T = (k1，k2，…，kh) (v1j，v2j，…，vhj)T =k1v1j+ k2v2j+…+ kh vhj 唯一输出1的神经元为Ko gnetj= k1v1j+ k2v2j+…+ kh vhj = voj 5.2.2 Grossberg层 GNET=( gnet1 ，gnet2 ，…，gnetm) =(vo1，vo2，…，vom) =Vo 散射星：Vo的各个分量是从Ko到Grossberg层各神经元的联接权 5.2.2 Grossberg层 CPN用于模式的完善，此时n=m：接受含有噪音的输入模式(x1，x2，…，xn)，而输出去掉噪音后的模式(vo1，vo2，…，vom) 对训练启示 W1，W2，…，Wh，各类X的共同特征 V1，V2，…，Vh，X对应的理想输出Y的共同特征 5.3 Kohonen层的训练 5.3.1 输入向量的预处理 单位化处理 X= (x1，x2，…，xn) X′= (x1′，x2′，…，xn′) = (x1/‖X‖，x2/‖X‖，…，xn/‖X‖) 即： xj′＝ xj/‖X‖, 算法 5-1 Kohonen层训练算法 对所有的输入向量，进行单位化处理； 对每个样本（X，Y）执行下列过程 2.1 for j=1 to h do 根据相应式子计算knetj； 2.2 求出最大的kneto: 2.2.1 max=knet1；o=1 2.2.2 for j=1 to h do if knetjmax then {max=knetj；o=j}； 算法 5-1 Kohonen层训练算法 2.3 计算K 2.3.1 for j=1 to h do kj=0； 2.3.2 ko=1； 2.4 使Wo更接近X：Wo(new)=Wo(old)+α(X- Wo(old)); 2.5 对Wo(new)进行单位化处