数据挖掘补充2 竞争型神经网络课件.pptVIP

竞争型神经网络 * 1竞争型学习 竞争学习：同一层神经元层次上各个神经元相互竞争，竞争获胜的神经元修改其连接权。用于模式分类，属于无监督学习（无导师学习） 1竞争型学习 j i 竞争层 输入层 模式分类 输入模式 wij 对某个神经元j： 竞争型网络学习规则 1. 初始化， 在[0，1]内取随机值 2.任取一输入模式Ak 3.计算竞争层各神经元的输入值si： 竞争型网络学习规则 4.按“胜者为王”(Winner Takes All)原则，将sj中最大值所对应的神经元作为胜者，输出状态置为1，其它所有神经元的输出状态为0。 如果有两个以上神经元的sj相同，取左边的为获胜单元 5.获胜神经元连接权修正如下： 6.另选一学习模式，返回步骤3，直至所有学习模式提供一遍 7.返回2，重复直至连接权的调整量变得很小 竞争型网络学习规则 对于 ，所有权值的调整量之和为0，即 因此，无论网络连接权如何调整，都满足 竞争型网络学习规则 1竞争型学习 说明： 1．样本集有较明显的分类特征，则能进行正确的分类。若样本集杂乱无章，无一定分类规律时，网络的响应将显现震荡现象。即对同一样本，可能会激活不同的输出单元 2．网络的性能与wij初值的选择、η及样本顺序有关。 已有的神经网络很难同时解决可塑性和稳定性问题，很难做到既保持已有记忆不受影响，又能对新的信息加以记忆。如BP网络，学习一个全新的模式时，会打乱已有的连接权，使分布存储在这些连接权上的已有记忆遭到破坏，甚至导致已有记忆完全消失。若将新、旧样本一起重新重复多次学习，直至稳定，使应用带来很大的不便。 2 自适应共振理论模型ART Dr. Grossberg提出的ART，利用生物神经元细胞自兴奋与侧抑制，让输入模式通过网络双向连接权的识别与比较，最后达到共振，完成对自身的记忆，并实现网络回想。如果提供的是已记忆模式相近的模式，就能进行正确的分类。如果是不存在的模式，则网络在不影响已有记忆的前提下，将这一模式记忆下来。 2 自适应共振理论模型ART 环境变化 网络的可塑性分析 新添样本 训练 合并 重新训练 应用 新环境下的应用 样本集 6.2 自适应共振理论模型ART 2 自适应共振理论模型ART Carpenter和Grossberg在1986年：4个样本组成样本集。这4个样本被周期性地提交给网络。网络是难以收敛 网络的可塑性需要的4项功能 样本的分类功能 分类的识别功能 比较功能 类的建立功能 Grossberg等：自适应共振理论（Adaptive Resonance Theory，简记为ART） ART1、ART2。 稳定性与可塑性是不同的 保证可塑性的操作要求分析 不匹配的现存 模式不被修改 相似：修改相匹配的模式 不相似：建立一个新模式 2 自适应共振理论模型ART 1. 实时学习，非离线学习 2. 对象是非平稳、不可预测的非线性世界 3. 无监督的、自组织学习 4. 自稳定性 5. 自行学习一种评价函数 ART网络特点 6. 主动性学习，有意义的特征 7. 直接找到应激发单元 8. 在近似匹配的基础上进一步学习，对噪音具有更好的鲁棒性 9. 学习先快后慢，避免了震荡 10.快速直接访问 11. 通过警戒参数调整判别函数 ART网络特点 ART总体结构图 X 识别层 C(B) P(T) R C 复位 G2 G1 识别控制 比较控制 比较层 复位控制 精度控制参数ρ 注意子系统Attentional Subsystem功能：完成由底向上的竞争选择以及完成自底向上向量和自顶向下向量的相似度比较。 取向子系统Orienting Subsystem功能：检查预期向量Z和输入向量X的相似程度。当相似度低于某一标准时，取消第一个竞争优胜者，从其他类别中选取优胜者。F1层有三个输入向量：输入向量X，F2层的预期向量Z，增益控制G1 ART-1基本原理 要使F1产生输出信号，3个输入中至少有2个起作用，2/3规则。 ART-1基本原理 功能介绍 : F1层结构 N个节点，接受3个信号：输入向量X，F2层的预期向量Z，G1控制信号 2. F2层结构 相当于前向竞争网络，输出层节点表示分类模式，能动态增长 ART-1基本原理 3.控制信号 G2是输入X的各元素的“或”，即X为全零时，G2为零。其余情况下，G2=1 G1：X各元素的“或”为X0，F2各元素的“或”为F0。 ，即F2层输出 为全0， 不全为零，G1=1，否则G1=0 ART-1基本原理 初始化阶段、识别阶段、比较阶段和寻找阶段 1.初始化阶段：前馈连接权 ，反馈连接权 ，ρ警戒参数，0ρ1 ART-1学习过