竞争学习神经网络.pptVIP

第四章 竞争学习神经网络 4.1竞争学习的概念与原理 4.2自组织特征映射神经网络 4.3自组织特征映射网络的设计与应用 4.4自适应共振理论（选讲） 第四章 自组织神经网络 自组织神经网络的典型结构 第四章 自组织神经网络 4.1竞争学习的概念与原理 4.1.1 基本概念 1、模式、分类、聚类与相似性 模式——对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式集合。 分类——在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。 聚类——无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开。 通过聚类发现数据的分布规律和特征。 如何决定相似度、类别数等 2、相似性测量＿欧式距离法 2、竞争学习原理 考虑二维情况，归一化后矢端分布在单位圆上，以o表示，对应的内星向量也在单位圆上，以*表示。 4.2 自组织特征映射神经网络 （Self-Organizing feature Map, SOM） 1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一思路提出来的，其特点与人脑的自组织特性相类似。 4.2.1 SOM网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。 4.2.2 SOM网的拓扑结构及权值调整域 一、拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 二、权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示： 以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。 4.2.3 自组织特征映射网的运行原理与学习算法 一、运行原理 分为训练和工作两个阶段。 训练阶段 工作阶段 二、学习算法 (5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,…n j?Nj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律： 三、功能分析 (1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例4.2：动物属性特征映射。 (2)数据压缩 —— 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。 (3)特征抽取 —— 高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。 例4.3 SOM网用于字符排序 4.3 自组织特征映射网络的设计与应用 SOM输入层设计与BP了类似，输出层要复杂的多。 一、输出层设计 需要解决2个问题：节点数设计与节点排列设计。既不要出现分类过细，又不可出现死节点。可通过试用法和初始化权值等解决。 节点排列形式应反应物理意义。 二、权值初始化问题 SOM网权值初始化一般为较小的随机数，但应与样本数据混杂。 一种简单办法是从训练集中随机抽取m个输入样本作初始为权值，即 另一种是计算全体样本的中心向量，在此基础上叠加小的随机数确定。 三、优胜邻域Nj*(t)的设计 原则上使邻域不断缩小，使得相邻神经元既有区别又具相似性。邻域大小用邻域半径表示，一般由经验选取。如： 三、SOM网在皮革配皮中的应用 4.4 自适应共振理论(ART) 1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adaptive Resonance Theory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。目前ART已有三种形式： ART I：双极型或二进制信号 AR