神经网络ART要点详解.pptVIP

第8章 自适应共振理论 一、竞争学习神经网络 1、采用有导师学习规则的神经网络要求对所学习的样本给出“正确答案”，以便网络据此判断输出的误差，根据误差的大小改进自身的价值，提高正确解决问题的能力。然而在很多情况下，人在认知过程 中没有预知的正确模式，人获得大量知识常常是靠“无师自通”，即通过对客观事实的反复观察、分析与比较，自行揭示其内在规律，并对具有共同特征的事物进行正确归类。 自组织神经网络的无导师学习方式更类似于人类大脑中生物神经网络的学习，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。这种学习方式大大拓宽了神经网络在模式识别与分类方面的应用。 自组织网络结构上属于层次型网络，有多种类型，其共同特点是都具有竞争层。最简单的网络结构具有一个输入层和一个竞争层。如下图所示： 输入层负责接收外界信息并将输入模式向竞争曾传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。 2、在神经网络应用中，输入样本、输入模式和输入模式类样本这类术语经常混用。一般当神经网络涉及识别、分类问题时，常常用到输入模式的概念。模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合。 分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。 无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。通过聚类，可以发现原始样本的分布与特性。 由于无导师学习的训练样本中不含有期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度分为若干类，因此相似性是输入模式的聚类依据。 3、相似性测量 神经网络的输入模式用向量表示，比较两个不同模式的相似性可转化为比较两个向量的距离。因而可用模式向量间的距离作为聚类依据。传统模式识别中常用到的两种聚类判据是欧式距离法和余弦法。 3.1、欧式距离法 两个模式向量的欧式距离越小，两个向量越接近，因此认为这两个模式越相似，当两个模式完全相同时其欧式距离为0。如果对同一类内各个模式向量间的欧式距离做出规定，不允许超过某一最大值T，则最大欧式距离T成为一种聚类判据。从上图可以看出，同类模式向量的距离小于T，两类模式向量的距离大于T。 3.2、余弦法 描述两个模式向量的另一个常用方法是计算其夹角的余弦。 如上图所示，两个模式向量越接近，其夹角越小，余弦越大。当两个模式方向完全相同时，其夹角余弦为1.如果对同一类内各个模式向量间的夹角做出规定，不允许超过某一最大角 ，则最大角 就成为一种聚类依据。同类模式向量的夹角小于 ，两类模式向量的夹角大于 ，余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。 4、侧抑制与竞争 实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。 这种侧抑制使神经细胞之间呈现出竞争，开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也最强，其结果使其周围神经细胞兴奋程度减弱，从而该神经细胞是这次竞争的“胜者”，其他神经细胞在竞争中失败。 自组织网络（竞争型神经网络）构成的基本思想是网络的竞争层各神经元竞争对输入模式相应的机会，最后仅有一个神经元成为竞争的“胜者”，这一获胜神经元则表示对输入模式的识别——体现了生物神经细胞的侧抑制竞争机制。 二、竞争学习原理 网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其他神经元的状态被抑制，故称为Winner Take All.在竞争学习策略中采用的典型学习规则称为胜者为王。该算法可分为3个步骤： 1、向量归一化 首先将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星向量Wj（j=1,2，...，m）全部进行归一化处理，得到 和 （j=1,2，...,m） 2、寻找获胜神经元 当网络得到一个输入模式向量 时，竞争层的所有神经元对应的内星权向量 （j=1,2，...，m）均与 进行相似性比较，将与 最相似的内星权向量判为竞争获胜神经元，其权向量记为 ，测量相似性的方法是对 和 计算欧式距离（余弦法）： 3、网络输出与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为0，即 只有获胜神经元才有权调整其权向量