自组织神经网络模型.ppt

SOM模型应用实例1 一维拓扑排序问题 1个输入神经元；8个输出神经元； 对输入信号值的大小进行排序。 观测有序拓扑的形成。 SOM模型应用实例2 二维拓扑排序问题 2个输入神经元；5×5个输出神经元； 将输入颜色的排序。 观测有序拓扑的形成。 SOM模型应用实例3 图形可视化 观测颜色的有序排列。 第四章 自组织神经网络模型 内容提要 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 模拟退火算法 应用实例分析 第一节 自适应谐振理论 概述 自适应谐振理论（简称ART）的目的是为人类的心理和认知活动建立统一的数学理论。 自适应谐振理论神经网络模型就是这一理论的核心经过发展而得到的一种对随机输入模式进行自稳定识别编码的模型结构。 它主要包含ART1、ART2和ART3几种模型。ART1主要用于二值输入模式，ART2和ART3主要用于连续信号输入模式。 ART神经网络结构 ART神经网络模型是一个两层神经网络网络，下层为输入神经元，上层为输出神经元，记从上到下神经元间连接权值为bij，从下到上神经元间连接权值为fij。其中i=1,…，n；j=1,…，m。 x0 x1 x2 r0 r1 ART神经网络模型的学习 初始化阶段 匹配阶段 比较和搜索阶段 权值调整阶段 x0 x1 x2 r0 r1 ART神经网络模型的学习过程 初始化阶段 对所有的i，j(i=1,…，n；j=1,…，m)，设置： 置 为(0,1)区间内的一个值。其中：n为输入神经元个数；m为输出神经元个数； 为警戒线值。 x0 x1 x2 r0 r1 ART神经网络模型的学习过程 匹配阶段 将一新的样本向量X送入输入神经元。 计算匹配度，也即计算输出神经元的输出值： 其中：oj是输出神经元j的输出；xi是输入神经元i的输入，取值为0或者1。 x0 x1 x2 r0 r1 ART神经网络模型的学习过程 比较搜索阶段 选择一最佳匹配： 警戒线检查： x0 x1 x2 r0 r1 ART神经网络模型的学习过程 比较搜索阶段 若 ，则转向权值调整阶段； 若 ，则重新寻求最佳匹配。把刚找到的最佳匹配处理单元置上标志，下次选择较优匹配时不予参加，选择下一较优匹配，重复上述过程。 x0 x1 x2 r0 r1 ART神经网络模型的学习过程 比较搜索阶段 如果在上述比较搜索过程中没有找到一个满足警戒线检测条件的神经元。则生成一个新的输出神经元，并将其从上至下的连接权值设置为输入向量的各个分量值，输入神经元到它的连接权值按初始化阶段设置权值的方法进行设置。并结束对该样本的学习。否则转入权值调整阶段。 x0 x1 x2 r0 r1 ART神经网络模型的学习过程 权值调整阶段 网络自上而下权值 和网络自下而上权值 按如下两式进行调整： x0 x1 x2 r0 r1 ART神经网络模型的学习过程 输入模式向量，可以根据网络自兴奋侧抑制竞争机制判决输入模式的类别。 根据需要，也可按照上述过程动态加入新的模式类别。从而该神经网络具有自适应聚类和识别的能力。 x0 x1 x2 r0 r1 ART神经网络模型的一些说明 权值初始化是十分必要的 设置从上至下的神经网络权值是为了对模式进行相似性测量时能够正确地计算其相似性；设置从下至上的神经网络权值是为了保证输入向量能够收敛到其所属类别，而不会轻易增加新的输出神经元。 对警戒线取值的认识 警戒线是人为的取值方式，其值的大小直接影响着模式聚类的类别数和分类精度。如果警戒线值越大，表示分类越精细，模式聚类的类别数越多；如果警戒线值越小，表示对分类要求的精度不高，模式聚类的类别数较少。 ART神经网络模型的能力 ART神经网络模型可以完成对随机输入模式的实时响应识别编码，且可适应非平稳的环境，对已学过的模式它具有稳定的快速识别能力，同时也能对未学过的模式进行稳定编码，不需要知道模式的标准输出结果，所以它的学习是一种非监督学习方式。 它的容量也不受输入通道的限制，而且存储的模式不要求是正交的。自适应谐振理论神经网络模型广泛应用于对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。 ART神经网络应用实例分析 对多个样本进行模式聚类分析和识别 35个输入神经元； 26个输出神经元； 观测不同的警戒线取值对分类的影响。 第二节 自组织映射 神经网络模型SOM SOM模型提出的生物背景 在人的感觉通道上一个很重要的组织原理是神经元有序地排列着，并且往往可以反映出所感觉到外界刺激的某些物理特性。如在听觉通道的每一个层次上，其神经元与神经纤维在结构上的排列与外界刺激的频率关系十分密切，对于某个频率，相应的神经元具有最大的响应，这种听觉通道上的有序排列一直延续