第六章节竞争神经网络资料.pptVIP

* 学习矢量量化 LVQ (Learning Vector Quantization) * 概述 矢量量化是标量量化概念的扩展，适用于高维数据。把高维数据离散化，邻近区域看作同一量化等级，用其中心值代表。其算法可视为一种逐次聚类的算法，聚类中心是该类的代表（称为码字）。 如果SOFM算法中不考虑邻域，即邻域只包含节点c本身，则有 * SOFM与LVQ有共同之处，即都能用少量的聚类中心表示原数据，从而起到数据压缩作用。不同之处在于SOFM的各聚类中心（输出阵列中的神经元）的排列是有结构性的，即相邻中心点对应的输入数据中的某些特征是相似的，而VQ的中心没有这种排序功能。 自组织映射可以起到类似聚类的作用，但不能直接用于分类或识别。为此，可增加监督学习。 1989年，Kohonen提出了LVQ网络模型。该模型将竞争学习和有监督学习结合，在学习中允许对输入被分到哪一类进行指定，即给出了分类的教师信息。 * 网络结构 类别K 类别1 类别2 输入层（N个神经元） 输出层（M个神经元） 输出神经元j的输出为： f为神经元激励函数，一般取线性函数 输出神经元被预先指定了类别，输出神经元被分为k组即k个类别 * 学习算法 ① 初始化权重和学习率 ② 从样本集中随机选取输入向量X ③ 找到赢者神经元c( 最小欧氏距离)： j=1,2,…M ④ 设X所属类别为T, 而c所属类别为S,则： if if if ⑤ 调整 ⑥ go to ② * 第八章 竞争神经网络 * 概述 竞争神经网络在无教师信息的情况下能够自组织地挖掘输入信息的特征，以便对输入进行聚类处理。 此类神经网络经常被用来作为前处理单元 (preprocessing unit)，以便抽取出输入信息的特征，或将输入信息矢量量化 (vector quantization) 之后再进行监督式学习。 * 概述 神经网络有两种实现非监督式学习的方式： Hebbian规则 ? 通常不是被用来分析输入信息间的聚类关系或分类关系，而是测量输入信息间的相似性或分析输入信息中的主要成分向量 (principle components)”。 竞争学习规则 ? 使用竞争学习的神经网络，只有其中的一个神经元会被激活。该神经元就称为胜者 (winner)”。这种神经网络通常用来做聚类分析。即在无先验知识的情况下，发现或挖掘输入信息本身的结构及聚类关系。 * 概述 基于竞争学习的神经网络常被用作样本特征检测器，在样本排序、样本聚类、样本分类、样本检测和样本分布特征可视化等方面有广泛地应用 典型的竞争神经网络有： ART (Adaptive Resonance Theory) SOFM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network) * Competitive Learning 竞争学习的概念 设训练模式集合为{x1, x2,…, xp}，所有这些模式分别属于按某种标准设定的m类模式之一（无先验知识） 通过竞争学习，网络实现自组织模式分类。每个输出结点代表某一类模式，具体哪一个结点对应于哪一类模式不是事先指定的，需要竞争而出。 每个节点就像一个pattern detector或feature detector，对输入的解释是通过有无相应节点表示，而不是相应幅度或输入输出变换（象前馈网络或反馈网络） 与该结点相连的权向量包含了该类模式的基本信息 竞争学习及其特点 * 竞争学习目的 竞争学习过程是对输入矢量的聚类过程，是使得获胜节点获得最大响应的过程，是使获胜节点与输入节点之间的权矢量逐渐逼近输入矢量。 当训练结束后，对于某类输入模式P，一定有一个网络输出节点有最大响应（输出值为1），其余输出节点无响应（输出值为0）。该最大响应输出节点与输入节点之间的权矢量等于或代表此输入矢量。 Competitive Learning * Competitive Learning x1 x2 x3 ------ xn y1 y2 y3 ---- ym 竞争层 输入层 每个输入节点与每个输出节点全连接 竞争层的每一个节点接受一个输入加权和 竞争网络结构 * Competitive Learning 竞争学习过程 ──“winner takes all” 确定winne