数据挖掘补充2 竞争型神经网络ppt课件.pptVIP

竞争型神经网络;1竞争型学习 ;1竞争型学习 ;竞争型网络学习规则;竞争型网络学习规则;5.获胜神经元连接权修正如下： 6.另选一学习模式，返回步骤3，直至所有学习模式提供一遍 7.返回2，重复直至连接权的调整量变得很小 ;对于 ，所有权值的调整量之和为0，即 因此，无论网络连接权如何调整，都满足 ;1竞争型学习 ;已有的神经网络很难同时解决可塑性和稳定性问题，很难做到既保持已有记忆不受影响，又能对新的信息加以记忆。如BP网络，学习一个全新的模式时，会打乱已有的连接权，使分布存储在这些连接权上的已有记忆遭到破坏，甚至导致已有记忆完全消失。若将新、旧样本一起重新重复多次学习，直至稳定，使应用带来很大的不便。;Dr. Grossberg提出的ART，利用生物神经元细胞自兴奋与侧抑制，让输入模式通过网络双向连接权的识别与比较，最后达到共振，完成对自身的记忆，并实现网络回想。如果提供的是已记忆模式相近的模式，就能进行正确的分类。如果是不存在的模式，则网络在不影响已有记忆的前提下，将这一模式记忆下来。 ;环境变化;2 自适应共振理论模型ART ;稳定性与可塑性是不同的 保证可塑性的操作要求分析;1. 实时学习，非离线学习 2. 对象是非平稳、不可预测的非线性世界 3. 无监督的、自组织学习 4. 自稳定性 5. 自行学习一种评价函数;6. 主动性学习，有意义的特征 7. 直接找到应激发单元 8. 在近似匹配的基础上进一步学习，对噪音具有更好的鲁棒性 9. 学习先快后慢，避免了震荡 10.快速直接访问 11. 通过警戒参数调整判别函数;ART总体结构图;注意子系统Attentional Subsystem功能：完成由底向上的竞争选择以及完成自底向上向量和自顶向下向量的相似度比较。 取向子系统Orienting Subsystem功能：检查预期向量Z和输入向量X的相似程度。当相似度低于某一标准时，取消第一个竞争优胜者，从其他类别中选取优胜者。F1层有三个输入向量：输入向量X，F2层的预期向量Z，增益控制G1 ;要使F1产生输出信号，3个输入中至少有2个起作用，2/3规则。 ;功能介绍 : F1层结构 N个节点，接受3个信号：输入向量X，F2层的预期向量Z，G1控制信号 2. F2层结构 相当于前向竞争网络，输出层节点表示分类模式，能动态增长 ;3.控制信号 G2是输入X的各元素的“或”，即X为全零时，G2为零。其余情况下，G2=1 G1：X各元素的“或”为X0，F2各元素的“或”为F0。 ，即F2层输出 为全0， 不全为零，G1=1，否则G1=0 ;初始化阶段、识别阶段、比较阶段和寻找阶段 1.初始化阶段：前馈连接权 ，反馈连接权 ，ρ警戒参数，0ρ1 ;前馈连接权 承担着对学习模式的记忆任务。 反馈连接权 反映了输入/输出层之间反馈比较的范围或强度。 ;2.识别阶段 类似于基本竞争型神经网络的竞争学习过程。 ;3.比较阶段 学习结束的网络提供一个需识别的输入模式时，首先检查一下这个模式是否已经学习过，如果是，就回想出分类结果；如果否，则对这个模式加以记忆，并分配一个新的输出层神经元来代表这个模式的分类结果。 ;输入模式经过识别阶段，竞争到神经元g作为自己的分类结果后，要检查神经元g反馈回来的向量 是否与这个输入模式相等。如果相等，说明这是一个已记忆过的模式，神经元g代表了这个模式的分类结果，识别与比较产生了共振，网络不需要再经过寻找阶段，直接进入对下一个输入模式的识别阶段；如果不符，则放弃神经元g的分类结果，进入寻找阶段。 ;比较时，允许 与Ak有一定的差距，由警戒参数ρ决定。 表示 与Ak的拟合度 ;当 时，前馈连接权向量 和反馈连接权向量 调整： 当 ，说明拟合度小于要求，超过了警戒线，拒绝识别结果，将神经元g重新复位为0，转入寻找阶段 ;4.寻找阶段： 比较阶段拒绝识别结果之后转入反复寻找的阶段。在余下的神经元中搜索Ak的恰当分类，只要含有与Ak相对应或在警戒线之内的分类单元，则可以得到与记忆模式相符的分类结果。如果找不到，就新分配一个分类单元。 ;ART-1学习规则 ;5.警戒线检验： 计算： if ，goto 6 else goto 7 6.重新匹配，把最佳匹配置0。转3 ;7.调整权值 8.将6中复位的神经元加入，返回2 ;ART网特性分析： 1.实时在线学习，边学习边回想 2.快速学习与慢速学习 3.可控制的分类细度，取决于警戒参数ρ 4.连接权调整的规范化处理 5.分类的脆弱性：祖母细胞 ;3 自组织特征映射模型SOM ;刺激趋势与强度呈墨西哥帽形