竞争型神经网络ppt课件.pptVIP

7 竞争型神经网络;竞争型神经网络模型 ; n1为竞争层传输函数的输入，其值为输入向量p和输入权值向量IW距离的负数与阈值b1之和。如果所有的阈值向量为0，则当输入向量p和输入权值向量IW相等时，n1为最大值0。 对于n1中最大的元素，竞争层传输函数输出1（即竞争的“获胜者”输出为1），而其它元素均输出0。如果所有的阈值向量为0，则当神经元的权值向量最接近输入向量时，它在n1各元素中的负值最小，而值最大，从而赢得竞争，对应的输出为1。 ; 竞争型神经网络按Kohonen学习规则对获胜神经元的权值进行调整。假若第i个神经元获胜，则输入权值向量的第i行元素（即获胜神经元的各连接权）按下式进行调整：; 这样，当经过越来越多的训练样本学习后，每一个网络层中的神经元的权值向量很快被调整为最接近某一类输入向量的值。最终的结果是，如果神经元的数量足够多，则具有相似输入向量的各类模式作为输入向量时，其对应的神经元输出为1；而对于其它模式的输入向量，其对应的神经元输出为0。所以，竞争型网络具有对输入向量进行学习分类的能力。; 竞争型神经网络的一个局限性是，某些神经元可能永远也派不上用场，换句话说，某些神经元的权值向量从一开始就远离所有的输入向量，从而使得该神经元不管进行多长的训练，也永远不会赢得竞争。这些神经元称之为“死神经元”，实现不了任何有用的函数。 为了避免这一现象的发生，对那些很少获胜（甚至从来不曾获胜）的神经元赋以较大的阈值，而对那些经常获胜的神经元赋以较小的阈值。正的阈值与距离的负值相加，使很少获胜的神经元竞争层传输函数的输入就象获胜的神经元一样。这一过程就象人们“同情”弱者一样，表现出一个人的“良心”。 这一过程的实现，需要用到神经元输出向量的平均值，它等价于每个神经元输出为1的百分比，显然，经常获胜的神经元，其输出为1的百分比大。 ; 进行阈值修正时，神经元输出向量的平均值越大，其“良心”值越大，所以凭“良心”获得的阈值就小，而让那些不经常获胜的神经元的阈值逐渐变大。其算法如下： ; 这样做有两点好处： 其一，如果某个神经元因为远离所有的输入向量而始终不能在竞争中获胜时，其阈值将会变得越来越大，使其终究可以获胜。当这一情况出现后，它将逐渐向输入向量的某一类聚集，一旦神经元的权值靠近输入向量的某一类模式，该神经元将经常获胜，其阈值将逐渐减小到0，这样就解决了“死神经元”的问题。 其二，它强迫每个神经元对输入向量的分类的百分比大致相同，所以，如果输入空间的某个区域比另外一个区域聚集了更多的输入向量，那么输入向量密度大的区域将吸引更多的神经元，从而获得更细的分类。; 对于模式样本本身具有较明显的分类特征，竞争型神经网络可以对其进行正确的分类，网络对同一类或相似的输入模式具有较稳定的输出响应。但也存在一些问题： （1）当学习模式样本本身杂乱无章，没有明显的分类特征时，网络对输入模式的响应呈现振荡的现象，即对同一类输入模式的响应可能激活不同的输出神经元，从而不能实现正确的分类。当各类模式的特征相近时，也会出现同样的状况。 （2）在权值和阈值的调整过程中，学习率的选择在学习速率和稳定性之间存在矛盾，而不象前面我们介绍的其它学习算法，可以在刚开始??采用较大的学习率，而在权值和阈值趋于稳定时，采用较小的学习率。而竞争型神经网络当增加新的学习样本时，权值和阈值可能需要比前一次更大的调整。 ; （3）网络的分类性能与权值和阈值的初始值、学习率、训练样本的顺序、训练时间的长短（训练次数）等都有关系，而又没有有效的方法对各种因素的影响加以评判。 （4）在MATLAB神经网络工具箱中，以trainr函数进行竞争型神经网络的训练，用户只能限定训练的最长时间或训练的最大次数，以此终止训练，但终止训练时网络的分类性能究竟如何，没有明确的指标进行评判。; （2）训练网络。训练最大次数的默认值为100，当训练结果不能满足分类的要求时，尝试增加训练的最大次数。 （3）以测试样本进行仿真。;例7.2 以竞争型神经网络完成图示三类模式的分类。