第7章 竞争神经网络.docVIP

第7章 竞争神经网络 前面所讨论的前向网络、反馈网络等模型虽然得到了广泛应用，但是它们都未能充分借鉴人脑的特点，因而其功能有许多不足之处。以多层前向网络为例，具有如下缺点和不足： 只适用于平稳的环境。在以此环境为模型的世界中，各种客体、客体间的关系以及相应的观察向量具有统计平稳性，它们的各项统计特性不会随时间变化。而真实世界并非如此； 学习过程中网络的所有权值系数都要调整，存在稳定性及学习速度等问题； 有可能陷入均方误差的局部最小点，从而造成错误的求解结果； 误差准则是固定的，不能随着环境的变化而进行相应的调整或改变。 而相应的，对于人脑神经系统，具有如下主要特点： 人脑的学习方式是自主的，或称之为自治的。人可以在一个复杂的、非平稳的、有“干扰”的环境中，辨识学习的目标并且学得大量知识。在大多数情况下，这种学习是不受教师明确指导的“自学”。很难把学习过程以及用学得的知识来解决问题这两方面截然分开。 人脑的工作方式及其信息存储和检索方式（记忆和记忆内容的提取方式）具有明显的自组织特点。人通过学习积累了经验，也就是对某种外界环境做出某种判决或响应，就会受到奖励或者个体的某种需求得到满足；如果做出另一种判决或响应，就会受到惩罚或吃苦头。人在不断的受到奖励或惩罚的过程中调整自身的学习策略，以使做出的判决或响应能受到尽可能多的奖励。 人脑的学习和记忆能力既有很大的刚性又有很大弹性和可塑性。即可记忆得很牢，还不断大量学习新知识，同时还能忘却一些不常用的或无关紧要的老知识。 脑神经元中存在侧抑制现象，大脑中的神经元按区域划分成不同的群，处于某一区域中的神经元不但接受来自感觉器官的刺激以及来自其他区域的刺激，而且还接受本区域中其它神经元送来的侧抑制信息。 人对外界的输入信号做出响应时，既通过由底向上（bottom-up）的渠道，又通过由顶向下（top-down）的渠道。由底向上：人脑能够对不同的外界输入向量正确的区分不同的客体并掌握它们之间的相互关系（空间、时间、逻辑关系等）。由顶向下：涉及人的集中注意能力和忽略能力。人能够专注于某些客体或某些关系，而置其他一切于不顾。人脑在一定的环境下会估计到可能出现的情况，预期会遇到、听到或看到各种内容。如：谈话中可估计对方会说什么；视觉会在复杂的环境或背景中注意自己感兴趣的人、物。 基于这些因素，人们于是研究一种更接近于人脑工作特性的人工神经网络模型，即竞争神经网络或自组织神经网络。 竞争神经网络的显著特点是它的输出神经元相互竞争以确定胜者，胜者指出哪一种原型模式最能代表输入模式。竞争神经元网络一般是以无监督学习（Unsupervised Learning）或称为自组织学习（Self-Organized Learning）方式进行学习的。自组织学习算法的目的是在无教师指导下寻找输入数据空间中的重要的模式或特征。自组织学习的网络结构模型，比有监督学习的网络结构模型更接近生物神经系统，因为网络的自组织过程正是大脑组织的一个基本现象。 自组织（无监督）学习过程都是按照预定的规则和输入模式，重复修改系统中各连接权值，直至形成一种全局有序的结构形态。这种全局有序的结构形态是通过网络中许多相邻神经元最初的局部相互作用而形成的，相邻神经元的这种局部相互作用也最终导致网络在空间模式或时间节奏上的一致，这就是自组织现象的本质。所以竞争神经网络在网络结构和学习算法上有着自身的特点： 在网络结构上，可由一个输入层（信息来源）和输出层（表示层）组成，输入和输出层之间有前向连接，输出层各单元在许多情况下有侧向连接起抑制作用。 在学习算法上，遵循以下基本规则：每个神经元的能量都被限制；允许神经元通过竞争对一个给定的输入子集做出响应，赢得竞争的神经元被称为获胜神经元; 在权值向量的更改规则的作用下，权值向量将不断地逼近输入向量。 竞争神经网络工作的基本思想是让竞争层各神经元来竞争对输入模式相应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元的输出则代表对输入模式的分类。 以竞争神经网络为基础，可以构成一些具有自组织能力的神经网络。如自适应共振理论（Adaptive Resonance Theory, ART）网络，自组织映射（Self-Organizing Map, SOM）网络，主分量分析（Principle Components Analysis, PCA）网络，对传（Counter Propagation, CP）网络和协同神经网络（Synergetic Neural Network, SNN）等。 本章主要介绍Hamming网、自组织映射网络、学习矢量量量化以及主分量分析。通过对网络结构的不断改进，充分展示竞争学习的主要思想。作为具有深厚数理基础的另一种竞争型神经网络—协同神经网络，在第8章专门介绍。 7.1 Ha