数学D人工神经网络.pptxVIP

数学D人工神经网络;第四章 竞争学习神经网络;第四章 竞争学习神经网络;　　1976年,美国Boston大学学者G．A．Carpenter提出自适应共振理论（Adaptive Resonance Theory,缩写为ART）。 　　他多年来一直试图为人类的心理和认知活动建立统一的数学理论，ART就是这一理论的核心部分。随后G. A. Carpenter又与S. Grossberg提出了ATR网络。 　　经过了多年的研究和不断发展，ART网已有3种形式：ARTⅠ型处理双极型或二进制信号；ARTⅡ型是ART1的扩展形式，用于处理连续型模拟信号；ARTⅢ型是分级搜索模型，它兼容前两种结构的功能并将两层神经元网络扩大为任意多层神经元网络。由于ARTⅢ型在神经元的运行模型中纳入了生物神经元的生物电-化学反应机制，因而具备了很强的功能和可扩展能力。;　　之前介绍的神经网络根据学习方式可分为有导师学习和无导师学习两类。 　　对于有导师学习网络，通过对网络反复输入样本模式使其达到稳定记忆后，如果再加入新的样本继续训练，前面的训练结果就会受到影响。 　　对于无导师学习网络，输入新数据将会对某种聚类典型向量进行修改，这种修改意味着对新知识的学习会带来对旧知识的忘却。 　　因此，无论是有导师学习还是无导师学习。由于设定的网络规模是确定的，因而W矩阵能记忆的模式类别信息总是有限的。新输入的模式样本必然会对已经记忆的模式样本产生抵消或遗忘，从而使网络的分类性能受影响。靠无限扩大网络规模解决上述问题也是不现实的。 　　如何保证在适当增加网络规模的同时，在过去记忆的模式和新输入的训练模式之间作出某种折衷，既能最大限度地接收新的模式信息(灵活性)，同时又能保证较少地影响过去的模式样本(稳定性)呢？;　　人的大脑，在存入新的信息时，并不丢失原有的记忆。 　　大脑或是根据新的信息修改原记忆，例如一个多年未见的熟人，最近见到了，大脑就记住了他现在的模样，修改了过去对他的记忆； 　　又例如见到一个陌生人，就建立一个新的记忆，记住这个陌生人的模样。 　　基于这种事实，Grossberg等人提出了一种完全不同于其它网络模型的结构ARTⅠ，这种网络的结构和学习机制力图??量接近生物神经网络，因而比较复杂，理解起来要费一番功夫。;ARTⅠ网络学习算法的基本流程;4.4.1 ARTⅠ型网络;4.4.1.1 网络系统结构;4.4.1.1 网络系统结构;4.4.1.1 网络系统结构;4.4自适应共振理论;4.4自适应共振理论;4.4自适应共振理论;4.4自适应共振理论;4.4.1.2 网络运行原理;4.4自适应共振理论;4.4自适应共振理论;4.4自适应共振理论;4.4.1.2 网络运行原理;4.4.1.2 网络运行原理;ARTⅠ网络学习算法的基本流程;4.4.1.3 网络的学习算法;4.4.1.3 网络的学习算法;4.4.1.3 网络的学习算法;4.4.1.3 网络的学习算法;4.4.1.3 网络的学习算法;4.4.1.3 网络的学习算法;4.4.2 ARTⅠ型网络的应用;4个输入模式向量为：;ρ= 0.7 ;　　第1步：输入模式XA，将R层的4个节点中输出最大的一个命名为节点1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于警戒门限?，故第一个模式被命名为第一类模式。按式(4.21)修改节点1的内星权向量，得;　　第1步：输入模式XA，将R层的4个节点中输出最大的一个命名为节点1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于警戒门限?，故第一个模式被命名为第一类模式。按式(4.21)修改节点1的内星权向量，得;　　第2步：输入模式XB时，R层只有一个已存储模式，故不存在类别归属的竞争，只需判断该模式与已存储模式T1=XA 的相似度，得N0/N1=5/9(≈0.56)?=0.7。从相似度可以看出，模式XB有9个黑象素，而XA与XB只有5个黑象素完全重合，故相似度检验不合格。由于R层已没有其它已存储模式类可供选择，需动用一个新节点，命名为节点2，用以代表新模式XB。节点2的外星权向量为T2=XB，内星权向量为;　　第3步：输入模式XC时,节点1和节点2进行竞争，节点1净输入为1.217，节点2净输入为1.101，所以节点1获胜。计算T1与X的相似度，得 N0/N1=5/13(≈0.38)?=0.7。;　　第4步：输入模式XD后，节点1、节点2和节点3参加竞争，结果是节点3 获胜，计算模式XD与XC的相似度，得 N0/N1=13/17=0.765 ?=0.7 于是XD归入已存储的XC类，并按式(4.27)和式(4.28)修改节点3的内