lecture_4.pptVIP

人工神经网络及其应用第8讲 自组织网络 郑洪英 重庆大学计算机学院信息技术系 在实际的神经网络中，比如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。 自组织竞争人工神经网络正是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。 与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心——竞争层，又是许多种其他神经网络模型的重要组成部分。 8．1几种联想学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的神经元模型：内星与外星，用以来解释人类及动物的学习现象。 内星可以被训练来识别矢量； 外星可以被训练来产生矢量。 8．1．1内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响应特定的输入矢量P，它是借助于调节网络权矢量W近似于输入矢量P来实现的。 现在来考虑当不同的输入矢量p1和p2分别出现在同一内星时的情况。 首先，为了训练的需要，必须将每一输入矢量都进行单位归一化处理。即对每一个输入矢量pq(q＝1，2,……)，用 去乘以每一个输入元素，因此所得的用来进行网络训练的新输入矢量具有单位1的模值。 当第一个矢量p1输入给内星后，网络经过训练，最终达到W＝(p1)T。此后，给内星输入另一个输入矢量p2，此时内星的加权输入和为新矢量p2与已学习过矢量p1的点积，即： 因为输入矢量的模已被单位化为1，所以内星的加权输入和等于输入矢量p1和p2之间夹角的余弦。 根据不同的情况，内星的加权输入和可分为如下几种情况： 1) p2等于p1，即有θ12＝0，此时，内星加权输入和为1； 2) p2不等于p1，随着p2向着p1离开方向的移动，内星加权输入和将逐渐减少直到p2与p1垂直，即θ12＝90°时，内星加权输入和为0； 3)当p2＝-p1，即θ12＝180°时，内星加权输入和达到最小值-1。 由此可见，对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生1的加权输入和；而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于1。 当多个相似输入矢量输入内星，最终的训练结果是使网络的权矢量趋向于相似输入矢量的平均值。 [例8.1] 设计内星网络进行以下矢量的分类辨识： 我们首先对网络进行初始化处理： 下面是设计训练内星网络的程序： for epoch＝1:max-epoch for q＝1:Q A=T(：，q)； dW＝1earnis(W，P(：，q)，A，lr)； W＝W十dW； end end 经过10次循环以及480次计算后，得到的权矢量为： W＝[0.1826 0.3651 0.5477 0.7303] 而当lr=0.3时，其结果为： W=[0.1805 0.3609 0.5414 0.7219] 由此可见，学习速率较低时，在相同循环次数下，其学习精度较低。但当输入矢量较多时，较大的学习速度可能产生波动，所以要根据具体情况来确定参数值。 8．1．2外星学习规则 外星网络的激活函数是线性函数，它被用来学习回忆一个矢量，其网络输入P也可以是另一个神经元模型的输出。 外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A。 对于一个外星，其学习规则为： [例8．2]下面有两元素的输入矢量以及与它们相关的四元素目标矢量，试设计一个外星网络实现有效的矢量的获得，外星没有偏差。 P＝[1 0]； T＝[0.1826 0.6325； 0.3651 0.3162； 0.5477 0.3162； 0.7303 0.6325]； 该网络的每个目标矢量强迫为网络的输出，而输入只有0或1。网络训练的结果是使其权矩阵趋于所对应的输入为1时的目标矢量。 同样网络被零权值初始化： [R，Q]＝size(P)； [S，Q]＝size(T); W＝zeros(S，R)； max_epoch＝10； 1r＝0．3； 下面根据外星学习规则进行训练 for epoch＝1:max_epoch for q＝1:Q A＝T(：，q)； dW＝learnos(W，P(：，q)，A，lr)； W＝W十dW； end end 一旦训练完成，当外星工作时，对设置于输入为1的矢量，将能够回忆起被记忆在网络中的第一个目标矢量的近似值： 》