对偶传播神经网络.ppt

4.4 对偶传播神经网络 1987年，美国学者Robert Hecht-Nielsen提出对偶传播神经网络模型(Counter-Propagation Network，缩写为CPN) 4.4.1 网络结构与运行原理 网络各层的数学描述如下： CPN网运行过程 对偶传播网络 X＝(x1,x2,…,xn)T Y＝(y1,y2,…,ym)T，yi∈{0,1}，i=1,2,…,m O＝(o1,o2,…,ol)T d＝(d1,d2,…,dl)T V=(V1,V2,…,Vj,…,Vm) W=(W1,W2,…,Wk,…,Wl) 对偶传播神经网络 对偶传播神经网络 4.4.2 CPN的学习算法 第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练，步骤如下： (1)将所有内星权随机地赋以0～1之间的初始值，并归一化为单位长度，训练集内的所有输入模式也要进行归一化。 (2)输入一个模式Xp，计算净输入netj = ，j=1,2,…,m。 (3)确定竞争获胜神经元。 对偶传播神经网络 X V ? ? T j 4.4.2 CPN的学习算法 第一阶段用竞争学习算法对输入层至隐层的内星权向量进行训练，步骤如下： (4) CPN网络的竞争算法不设优胜邻域，因此只调整获胜神经元的内星权向量，调整规则为 (5) 重复步骤(2)至步骤(4)直到下降至0。需要注意的是，权向量经过调整后必须重新作归一化处理。 对偶传播神经网络 4.4.2 CPN的学习算法 第二阶段采用外星学习算法对隐层至输出层的外星权向量进行训练，步骤如下： (1)输入一个模式对Xp,dp，计算净输入netj= ， j=1,2,…,m， (2)确定竞争获胜神经元，使 (4.17) 对偶传播神经网络 X V ? ? T j 4.4.2 CPN的学习算法 (3)调整隐层到输出层的外星权向量，调整规则为 (4.18) ok由下式计算 (4.19) (4.20) 对偶传播神经网络 4.4.2 CPN的学习算法 (4.18) (4.20) 外星权向量调整规则: (4.21) (4)重复步骤(1)至步骤(3)直到下降至0。 对偶传播神经网络 4.4.3 对偶传播神经网络的其他形式 4.4.3.1 双获胜节点CPN网 4.4.3.2 双向CPN网 Y = f (X ) X ’ = f (Y ’) 当向网络输入(X，0 )时，网络输出为(Y，0 )；当向网络输入(0，Y ‘)时，网络输出为(0，X ’)，当向网络输入(X，Y ’)时，网络输出为(Y，X ’ )。 4.4.4 CPN网络的应用