神经网络_ART网络.pptVIP

自适应共振理论 引言 传统神经网络遇到的问题 在样本数据训练的过程中，无论是监督式还是无监督式的训练，均会出现对新模式的学习，时刻面临着新知识的学习记忆荷对旧知识的退化忘却的问题 在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反复训练，从而对已学习过的模式的部分甚至是全部的忘却 在无监督情况下，对新的数据的学习同样会产生对某种已经记忆的典型矢量的修改，造成对已学习数据的部分忘却 理想情况 能够学会新的知识，同时对已学过的知识没有不利影响 在输入矢量特别大的情况下，很难实现。通常只能在新旧知识的取舍上进行某种折衷，最大可能地接受新的知识并较少地影响原有知识 ART网络简介 自适应共振理论(Adaptive Resonance Theory, ART)网络可以较好地解决前述问题 网络和算法具有较大地灵活性，以适应新输入的模式，同时极力避免对网络先前学习过地模式的修改 记忆容量可以随样本的增加而自动增加，可以在不破坏原记忆样本的情况下学习新的样本 ART是美国波士顿大学的A. Carpenter和Grossberg提出。具有两种形式 ART1处理双极性（或二进制）数据 ART2处理连续数据 自适应共振理论（ART） 历史 1976年，美国Boston大学学者G.A.Carpenter提出自适应共振理论(Adaptive Resonance Theory，缩写为ART)，他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G.A.Carpenter又与S.Grossberg提出了ATR网络。 共振现象的一些例子 共振现象 鱼洗 寺院无人敲而响的磬 军队过桥 雪崩 人类认知（图像） ART网络学习算法的基本流程 4.5.1 ARTⅠ型网络 模式网络运行四个阶段： 匹配阶段网络在没有输入模式之前处于等待状态，此时输入端X=0，因此信号G2=0，R0=0.当输入不全为0的模式X时，G2=1，R0=0，使G1=G2R0=1.G1为1时，允许输入模式直接从C层输出，并向前传至R层，与R层节点对应的所有内星向量Bj进行匹配计算： ART网络结构 从输入矢量到输出矢量的作用部分被称为识别层或R层（R－Recognition） 从输出A作为输入返回到输入的层称为比较层或C层（C－Comparison） 从结构上讲 R层为一个竞争网络，具有s个节点，它代表了对输入模式的分类。该节点数能够动态地增长，以满足设立新模式地需要。 C层为一个Grossberg网络 ART 运行过程 将网络的训练与工作与工作过程有机技结合在一起 自C层流向R层的识别阶段：输入新的矢量P，通过竞争得出输出A 自R层流向C层的比较阶段 按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模式类别，判别标准为新输入模式与所有已记忆模式之间相似程度 R＝F（WP＋B） 如果R0,按照科荷伦学习规则修改竞争层权值以使该类权值更加接近于新输入模式 如果R=0,在网络中设立一个新模式，用以代表和记忆新模式，并将其归结为已有的代表类别，成为R层的一个新的输出节点，作为以后可能输入的代表模式 权值修正阶段 当外界输入P与所激活的外星权矢量充分相似时，网络发生共振，本次学习与训练结束 否则，进行特别的处理，直到共振现象发生时对本次输入的训练过程才最终结束 * 自适应共振理论 当双手策动力的频率跟物体的固有频率相等时，振幅最大，这种现象叫共振。水中发出的嗡鸣声是铜盆腔内的振动和摩擦频率振动发生共振引起的。 自适应共振理论 环境输入模式 与储存的典型向量模式进行比较 神经网络的连接权值 选择最相似的作为该模式的代表类，并调整与该类别相关的权值，以使以后与该模式相似的输入再与该模式匹配时能得到更大的相似度。 相似度的参考门限 需要在网络中设立一个新的模式类，同时建立与该模式类相连的权值，用以代表和存储该模式以及后来输入的所有同类模式。 C —— 比较层 R —— 识别层 Reset ——复位信号 G1和G2 ——逻辑控制信号 4.5.1.1网络系统结构 4.5.1.1网络系统结构 (1)C 层结构 该层有n个节点，每个节点接受来自3个方面的信号： 来自外界的输入信号xi； 来自R 层获胜神经元的外星向量的返回信号Tj； 来自G1的控制信号。 C 层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij 、G1 3个信号中的多数信号值相同。 G1=1，反馈回送信号为0，C层输出应由输入信号决定，有C=X。 反馈回送信号不为0，G1=0，C层输出应取决于输入信号与反馈信号的比较情况，如果xi=tij，则ci=xi。否则ci=0。 网络系统结构 4.5.1.