神经网络导论第四章new.pptVIP

第四章 概述 神经网络的一个重要特点就是它具有学习能力。在前面两节中介绍的神经网络模型（Hopfield神经网络模型除外）的学习都是有监督的，在这一章中我们将详细介绍自适应谐振理论神经网络模型、自组织映射神经网络模型、对流神经网络模型三种无监督学习神经网络，它们可以自动地向环境学习，都是自组织神经网络模型。 内容提要 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 对流神经网络模型（CPN） 应用实例分析 第一节 自适应谐振理论 概述 自适应谐振理论（简称ART）的目的是为人类的心理和认知活动建立一个统一的数学理论。自适应谐振理论神经网络模型就是这一理论的核心经过发展而得到的一种对随机输入模式进行自稳定识别编码的模型结构。它主要包含ART1、ART2和ART3几种模型。ART1主要用于二值输入模式，ART2和ART3主要用于连续信号输入模式。 ART模型的结构 ART模型的工作过程之注意子系统 经过预处理的信号I进入注意子 系统中F1的输入端，经F1中的 处理单元变换成激励模式X， 在完成了特征检测之后，F1中 激励最大的处理单元就会输出 信号到F2，形成F1的输出模式 S。S经过F1到F2的LTM加权组合变换成模式T而作用于F2的输入端。F2接收到T后，通过其中神经元间的相互作用，迅速产生对比度增强了的模式Y。 ART模型的工作过程之注意子系统 一旦自下而上变换X→Y完 成之后，Y就会产生自上 而下的激励信号模式U， 并向F1传送，只有足够大 的激励才会向反馈通路传 送信号U。U经过F2到F1的LTM加权组合变成模式V，V称为自上而下的模板或学习期望。 ART模型的工作过程之调整子系统 ART模型的工作过程之调整子系统 输入模式在产生X的同时也会激发调整子系统A，但是F1中的X会在调整子系统A产生输出之前禁止它起作用。当F2的反馈模式V与F1的输入模式I失配（不匹配）时，就会大大减弱这一禁止作用，当减弱到一定程度时，调整子系统A被激活，这样A向F2送出一重置波，并作用于F2的全部处理单元，从而改变F2的状态，取消原来自上而下的模板V，结束V与I的匹配。输入I一直起作用，然后F2产生新的状态Y’ ，Y’产生新的自上而下的模板V’，如果V’仍与I失配，调整子系统还会起作用，这样一系列的搜索、匹配和重置过程一直继续，直到F2送回的自上而下模板与外界输入I相匹配为止。 ART模型的工作过程之增益控制 在上述过程中，注意子系统的增益控制在F1与F2之间起到了协调作用。比如,若F2被激发，向F1送学习模板，增益控制则会给出禁止作用来影响F1对输入响应的灵敏度，使F1能够区分这一激励是来自输入还是F2。 ART模型工作过程之2/3规则 F1有三个信号源：F2的自上而下模板输入、F1增益控制输入和外界输入I，F1 必须在其增益控制输入和外界输入I同时起作用时，才会产生自下而上的输出信号。在自下而上的过程中，F1同时接收其增益控制作用的输入和外界输入，从而产生自下而上的输出；在自上而下的过程中，增益控制输入被自上而下的通道禁止，虽然输入信号I在继续作用于F1，但是F1并不被提前激发， 失配部分不会被激活，使得F1中的STM激发作用减少。 ART神经网络结构 ART神经网络模型是一个两层神经网络网络，下层为输入神经元，上层为输出神经元，记从上到下神经元间连接权值为bij，从下到上神经元间连接权值为fij。其中i=1,…，n；j=1,…，m。 ART神经网络模型的学习 初始化阶段 匹配阶段 比较和搜索阶段 权值调整阶段 ART神经网络模型的学习过程 初始化阶段 对所有的i，j(i=1,…，n；j=1,…，m)，设置 。置 为(0,1)区间内的一个值。 其中：n为输入处理单元个数；m为输出单元个数； 为警戒线值，表示两个样本拟合程度多大才认为是匹配的。 ART神经网络模型的学习过程 匹配阶段 将一新的样本向量X送入输入神经元。 计算匹配度，也就是计算输出神经元的输出值： 其中：oj是输出神经元ｊ的输出；xi是输入神经元i的输入，取值为0或1。 ART神经网络模型的学习过程 比较搜索阶段 选择一最佳匹配： 警戒线检查： ART神经网络模型的学习过程 比较搜索阶段 若 ，则转向权值调整阶段； 若 ，则重新寻求最佳匹配。把刚找到的最佳匹配处理单元置上标志，下次选择较优匹配时不予参加，选择下一较优匹配，重复上述过程。 ART神经网络模型的学习过程 比较搜索阶段 如果在上述比较搜索过程中没有找到一个满足警戒线检测条件的神