神经网络导论第四章PPT.ppt

二维SOM模型的结构 SOM模型结构描述 二维自组织映射神经网络模型中。所有的输入信号xi 与一相应的输入神经元相联系，每一输入单元与二维阵列每一个神经元均互连，二维阵列上的神经元也称为输出单元，每个输出单元与其相邻的神经元相连。 SOM模型计算的基本原理 当某类模式输入时，其输出层某一神经元得到最大刺激而竞争获胜，同时该获胜神经元周围的一些神经元也因侧向相互作用而受到较大刺激。这时，修改这些神经元和输入神经元之间的连接权值。当输入模式发生变化时，二维平面上获胜的输出神经元也发生改变，通过神经网络权值的调整，使得输出层特征图能够反映输入样本的分布情况。 SOM模型计算的基本原理 因此，根据SOM模型的输出状态，不但能够判断输入模式所属的类别，并使得输出神经元代表某一模式类别，还能够得到整个数据区域的大体分布情况，即从样本数据中获得数据分布的大体本质特征。 SOM模型的输入、输出 同一组输入信号 {x1,x2,…,xn}连接到所有的输入神经元，这组输入信号可以用向量表示为：X=(x1，x2，…，xn)T。输出神经元i与所有输入神经元之间连接的权向量为：Wi=(wi1，wi2，…，win)T，相应地，输出神经元i的输出值oi可以写作： SOM模型学习算法概述 SOM模型学习算法描述 初始化 输入神经元与输出神经元连接的所有权值可以随机地选取某一个较小的值。各个输出神经元j的邻接输出神经元集合NEj的选取如图。NEj(t)表示在时刻t时输出单元j的邻接单元的集合,它是随时间的增长而不断缩小的。 SOM模型学习算法描述 输入 输入单元接受一组新的输入 X=(x1，x2，x3，...，xn) 计算输入X和每个输出神经元连接权向量Wj之间的距离dj SOM模型学习算法描述 选择具有最小距离的输出神经元j*作为获胜结点。 调整输出神经元j*及其邻域Nej*(t)内的神经元所连接的权值向量。 为学习常数，随时间单调下降。 SOM模型的说明 假设样本输入和连接权值都是归一化的，则选择最小距离的神经元就是选择具有最大输出的神经元。 上面的二维SOM模型可以推广到更高维映射的情况。 SOM模型的特征映射是一种有序的映射，因此它更加适合于进行特征提取和特征变换。 SOM模型应用实例1 二维拓扑排序问题 2个输入神经元；5×5个输出神经元； 将输出神经元的权值向量表示出来。 观测有序拓扑的形成。 SOM模型应用实例2 SOM模型在TSP问题求解中的应用 网络由两层神经元组成，第一层神经元相互连接（同时也和它们自己相连），该层神经元之间的权值由下式给定： 其中： 为两个神经元之间的距离， 为学习常数。 第四章 概述 神经网络的一个重要特点就是它具有学习能力。在前面两节中介绍的神经网络模型（Hopfield神经网络模型除外）的学习都是有监督的，在这一章中我们将详细介绍自适应谐振理论神经网络模型、自组织映射神经网络模型、对流神经网络模型三种无监督学习神经网络，它们可以自动地向环境学习，都是自组织神经网络模型。 内容提要 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 对流神经网络模型（CPN） 应用实例分析 第一节 自适应谐振理论 概述 自适应谐振理论（简称ART）的目的是为人类的心理和认知活动建立一个统一的数学理论。自适应谐振理论神经网络模型就是这一理论的核心经过发展而得到的一种对随机输入模式进行自稳定识别编码的模型结构。它主要包含ART1、ART2和ART3几种模型。ART1主要用于二值输入模式，ART2和ART3主要用于连续信号输入模式。 ART模型的工作过程之注意子系统 经过预处理的信号I进入注意子 系统中F1的输入端，经F1中的 处理单元变换成激励模式X， 在完成了特征检测之后，F1中 激励最大的处理单元就会输出 信号到F2，形成F1的输出模式 S。S经过F1到F2的LTM加权组合变换成模式T而作用于F2的输入端。F2接收到T后，通过其中神经元间的相互作用，迅速产生对比度增强了的模式Y。 ART模型的工作过程之注意子系统 一旦自下而上变换X→Y完 成之后，Y就会产生自上 而下的激励信号模式U， 并向F1传送，只有足够大 的激励才会向反馈通路传 送信号U。U经过F2到F1的LTM加权组合变成模式V，V称为自上而下的模板或学习期望。 ART模型的工作过程之调整子系统 ART模型的工作过程之调整子系统 输入模式在产生X的同时也会激发调整子系统A，但是F1中的X会在调整子系统A产生输出之前禁止它起作用。当F2的反馈模式V与F1的输入模式I失配（不匹配）