第5章自组织竞争网络.pptVIP

人工神经网络及应用 主讲 何东健 人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。 自组织神经网络的无导师学习方式类似于大脑中生物神经网络的学习，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络结构上属于层次型网络，有多种类型，其共同特点是都具有竞争层。输入层负责接受外界信息并将输入模式向竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。 5.1 竞争学习的概念与原理 5.1.1 基本概念 1．模式、分类、聚类与相似性 模式：是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合。 分类（有导师指导） ：是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。 聚类（无导师指导）：将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。对一组输入模式，只能根据它们之间的相似程度分为若干类，因此相似性是输入模式的聚类依据。 2．相似性测量 欧式距离法和余弦法。 (1)欧式距离法 欧式距离，即两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为零。对各个模式向量间的欧式距离作出规定，则最大欧式距离T就成为一种聚类判据。同类模式向量的距离小于T，异类模式向量的距离大于T。 (2)余弦法 计算两个模式向量夹角的余弦，两个模式向量越接近，其夹角越小，余弦越大。对模式向量间的夹角作出规定，就为一种聚类判据。适合模式特征只与向量方向相关的相似性测量。 3．侧抑制与竞争 在人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争，虽然开始阶段各个神经细胞都处于程度不同的兴奋状态，由于侧抑制的作用，各细胞之间相互竞争的最终结果是：兴奋作用最强的神经细胞所产生的抑制作用战胜了它周围所有其他细胞的抑制作用而“赢”了，其周围的其他神经细胞则全“输”了。（胜者为王） 4．向量归一化 向量归一化的目的是将向量变成方向不变长度为1的单位向量。比较时，只需比较向量的夹角。归一化后的向量用 ^标记。 4.1.2 竞争学习原理 1.竞争学习规则 典型竞争学习规则称为胜者为王。算法分3个步骤。 (1)向量归一化 对输入模式向量X和竞争层中各神经元对应的内星权向量wj进行归一化处理。 (2)寻找获胜神经元 X输入给网络时，竞争层的所有神经元对应的内星权向量Wj均与X进行相似性比较, 将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj*。测量相似性的方法是对Wj和X计算欧式距离(或夹角余弦) 将上式展开，并利用单位向量的特点，可得 可见，欲使两单位向量的欧式距离最小，须使两向量的点积 最大。 (3)网络输出与权值调整 算法规定，获胜神经元输出为1，其余输出为0。 即只有获胜神经元才有权调整其权向量wj，调整后权向量为 α∈(0，1]为学习率，其值随着学习的进展而减小。可以看出，当j≠j*时，权值得不到调整，实质是“胜者”对它们进行了强侧抑制，不允许兴奋。 权向量经调整后不再是单位向量，因此需要对调整后的向量重新归一化。步骤(3)完成后回到步骤(1)继续训练，直到学习率α衰减到0或规定的值。 2．竞争学习原理 设输入模式为二维向量，归一化后其矢端可以看成分布在单位圆上的点，用“o”表示。竞争层4个神经元对应的4个内星权向量归一化后在单位圆上用*表示。输入模式点分布大体上聚集为4簇，可分4类。而训练样本中无分类指导信息，网络如何自动发现样本空间的类别划分? 距离，结果是离得最近的那个*获胜。 调整后，获胜*点的位置进一步移向o点及其所在的簇。显然，当下次出现与o点相像的同簇内的输入模式时，上次获胜的*点更容易获胜。 依此方式经过充分训练后，单位圆上的4个*点会逐渐移入各输入模式的簇中心，从而使竞争层每个神经元的权向量成为一类输入模式的聚类中心。当向网络输入一个模式时，竞争层中哪个神经元获胜使输出为1，当前输入模式就归为哪类。 4.2 自组织特征映射神经网络(SOFM) 1981年Kohonen提出，又称Kohonen网。他认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，且该过程自动完成。特点与人脑的自组织特性相类似。 4.2.1 SOFM生物学基础