第07讲 CPN对偶传播神经网络.pptVIP

第8讲 CPN对偶传播神经网络 Robert Hecht-Nielson 在1987年提出了对传网（Counterpropagation Networks，CPN）。 CPN为异构网： Kohonen1981年提出的Self-organization map SOM——Kohonen层 Grossberg1969年提出的Outstar——Grossberg层 训练时间短：BP的1%。应用面：比较窄 让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路 8.1 网络结构 单向CPN，完整CPN（双向网） 除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因素 网络的层数计算 8.1 网络结构 8.1 网络结构 以Kohonen层的神经元为“中心”讨论问题 K1 W1=(w11，w21，…，wn1)T V1=(v11，v12，…，v1m) K2 W2=(w12，w22，…，wn2)T V2=(v21，v22，…，v2m) …… Kh Wh=(w1h，w2h，…，wnh)T Vh=(vh1，vh2，…，vhm) 8.2 网络的正常运行 8.2.1 Kohonen层 “强者占先、弱者退出” （the winner takes all ） knetj=XWj = (x1，x2，…，xn)(w1j，w2j，…，wnj) T = w1j x1+w2j x2+…+wnj xn 向量形式 KNET=(knet1，knet2，…，kneth) K1，K2，…，Kh的输出k1，k2，…，kh构成向量 K=(k1，k2，…，kh) 1≦j≦h 1 knetj=Max{ knet1，knet2，…，kneth } kj= 0 其它 几何意义 8.2.2 Grossberg层 Grossberg层的每个神经元Gj （1≦j≦m） gnetj= K (v1j，v2j，…，vhj)T = (k1，k2，…，kh) (v1j，v2j，…，vhj)T =k1v1j+ k2v2j+…+ kh vhj 唯一输出1的神经元为Ko gnetj= k1v1j+ k2v2j+…+ kh vhj = voj GNET=( gnet1 ，gnet2 ，…，gnetm) =(vo1，vo2，…，vom) =Vo 散射星：Vo的各个分量是从Ko到Grossberg层各神经元的联接权 CPN用于模式的完善，此时n=m：接受含有噪音的输入模式(x1，x2，…，xn)，而输出去掉噪音后的模式(vo1，vo2，…，vom) 对训练启示 W1，W2，…，Wh，各类X的共同特征 V1，V2，…，Vh，X对应的理想输出Y的共同特征 8.3 Kohonen层的训练 8.3.1 输入向量的预处理 单位化处理 X= (x1，x2，…，xn) X′= (x1′，x2′，…，xn′) = (x1/‖X‖，x2/‖X‖，…，xn/‖X‖) 8.3.2 训练算法 8-1 Kohonen层训练算法 对所有的输入向量，进行单位化处理； 对每个样本（X，Y）执行下列过程 2.1 for j=1 to h do 根据相应式子计算knetj； 2.2 求出最大的kneto: 2.2.1 max=knet1；o=1 2.2.2 for j=1 to h do if knetjmax then {max=knetj；o=j}； 算法 5-1 Kohonen层训练算法 2.3 计算K 2.3.1 for j=1 to h do kj=0； 2.3.2 ko=1； 2.4 使Wo更接近X：Wo(new)=Wo(old)+α(X- Wo(old)); 2.5 对Wo(new)进行单位化处理 Wo(new)=Wo(old)+α(X- Wo(old)) α∈（0，1） Wo(new)=Wo(old)+α(X- Wo(old)) = Wo(old)+αX-αWo(old) X-Wo(new)=X-[Wo(old)+α(X- Wo(old))] =X-Wo(old)-αX+αWo(old) = X(1-α) -Wo(old)(1-α) =(1-α)(X-Wo(old)) 由0(1-α)1，Wo(new)比Wo(old)更接近X Wo(new)=Wo(old)+α(X- Wo(old)) 学习率α 训练初期，α一般取0.7左右，它将随着训练进展不断变小 α过大可能导致有的X被放入错误的类中；使训练陷入抖动 根据X的分布决定W的初值：防止类过小和过大 启发 一