SOM神经网络.docx

第4章 SOM自组织特征映射神经网络 生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。 据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map，SOM），又称Kohonen网络[1-5]。Kohonen认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 1．定义 自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构 层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。 图4-1 自组织神经网络结构 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。 竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。 4.1.2 自组织神经网络的原理 1．分类与输入模式的相似性 分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。 2．相似性测量 神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。 （1）欧式距离法 设为两向量，其间的欧式距离 （4-1） 越小，与越接近，两者越相似，当时，；以（常数）为判据，可对输入向量模式进行聚类分析： 由于均小于，均小于,而, , ，故将输入模式分为类1和类2两大类，如图4-2所示。 （2）余弦法 设为两向量，其间的夹角余弦 （4-2） 越小，与越接近，两者越相似；当＝0时，＝1，；同样以为判据可进行聚类分析。 图4-2 基于欧式距离法的模式分类 3．竞争学习原理 竞争学习规则的生理学基础是神经细胞的侧抑制现象：当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。最强的抑制作用是竞争获胜的“唯我独兴”，这种做法称为“胜者为王”（Winner-Take-All，WTA）。竞争学习规则就是从神经细胞的侧抑制现象获得的。它的学习步骤为： （1）向量归一化 对自组织网络中的当前输入模式向量、竞争层中各神经元对应的内星权向量()，全部进行归一化处理，如图4-3所示，得到和： , （4-3） 图4-3 向量归一化 （2）寻找获胜神经元 将与竞争层所有神经元对应的内星权向量进行相似性比较。最相似的神经元获胜，权向量为： （4-4） （3）网络输出与权调整 按WTA学习法则，获胜神经元输出为“1”，其余为0。即： （4-5） 只有获胜神经元才有权调整其权向量。其权向量学习调整如下： （4-6） 为学习率，一般随着学习的进展而减小，即调整的程度越来越小，趋于聚类中心。 （4）重新归一化处理 归一化后的权向量经过调整后，得到的新向量不再是单位向量，因此要对学习调整后的向量重新进行归一化，循环运算，直到学习率衰减到0。 为了更好地说明竞争学习算法的聚类分析效果，下面以一具体实例进行计算[6]。 【例4-1】用竞争学习算法