第十一章 自组织竞争神经网络SOM.pptVIP

第四章 自组织竞争型神经网络;第四章自组织竞争型神经网络;§4.1 前言;自组织竞争型神经网络是一种无教师监督学习，具有自组织功能的神经网络。网络通过自身的训练，能自动对输入模式进行分类。这一点与Hopfield网络的模拟人类功能十分相似，自组织竞争型神经网络的结构及其学习规则与其他神经网络相比有自己的特点。 在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。;在学习算法上，它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准则。 竞争型神经网络构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则表示对输入模式的分类。; 自组织竞争人工神经网络是基于上述生物结构和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。 与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核心——竞争层，又是许多种其他神经网络模型的重要组成部分。;常用的自组织网络;自组织神经网络的典型结构;分类——分类是在类别知识等导师信号的指 导下，将待识别的输入模式分配到各自的模 式类中去。 聚类——无导师指导的分类称为聚类，聚类 的目的是将相似的模式样本划归一类，而将 不相似的分离开。; 相似性测量＿欧式距离法; 相似性测量＿余弦法;竞争学习原理;1.向量归一化 首先将当前输入模式向量X和竞争层中各神经元对应的内星向量Wj 全部进行归一化处理； (j=1,2,…,m);向量归一化之前;向量归一化之后;竞争学习原理;从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：;3.网络输出与权值调整;竞争学习的几何意义; ;;;;;;;;;;;;;1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。 ;SOM网的生物学基础;SOM网的拓扑结构;SOM网的权值调整域;;SOM网的权值调整域;SOM网的运行原理;SOM网的运行原理;SOM网的学习算法;;(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,…n j?Nj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜经 元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律：;(6)结束检查 学习率是否衰减到零或某个预定的正小数？;Kohonen学习算法程序流程;功 能 分 析 (1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例1：动物属性特征映射。;功能分析;功 能 分 析 (2) 数据压缩----将高维空间的样本在保持拓扑结构不变的条件下投影到低维的空间，在这方面SOM网具有明显的优势。无论输入样本空间是多少维，其模式都可以在SOM网输出层的某个区域得到相应。SOM网经过训练以后，在高维空间输入相近的样本，其输出相应的位置也相近。 (3) 特征提取----从高维空间样本向低维空间的映射，SOM网的输出层相当于低维特征空间。 ;§4.4 自组织特征映射网络的设计;1. 输出层设计 b.节点排列的设计 输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义。例如，对于旅行路径类的问题，二维平面比较直观；对于一般的分类问题，一个输出节点节能代表一个模式类，用一维线阵意义明确结构简单。;2. 权值初始化问题 SOM网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，全向量的初始位置却随机地分散于样本空间的广阔区域，训练时必然是离整个样本群最近的全向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大概分布区域充分重合。;2. 权值初始化问题 一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值，即