神经网络 配套ppt Ch14_pres.pptVIP

LVQ2 例子 14 * 竞争网络 Hamming 网络 第一层(关联) 要求网络识别下列原型向量： W 1 w T 1 w T 2 ? w T S p 1 T p 2 T ? p Q T = = b 1 R R ? R = 第一层权值矩阵和偏置向量如下给出： 第一层的输出是： 与输入向量最接近的原 型向量产生最大输出 a 1 W 1 p b 1 + p 1 T p R + p 2 T p R + ? p Q T p R + = = b值的选取要保证所有输出都不小于零 第二层 (竞争) 有最大初始值的神 经元将赢得竞争。 用第一层的输出初始化第二层： 横向抑制： 每个神经元的输出都将对所有其它神经元产生一种抑制作用 小于其余S-1个aj的均值 竞争层 n W p w 1 T w 2 T ? w S T p w 1 T p w 2 T p ? w S T p L 2 q 1 cos L 2 q 2 cos ? L 2 q S cos = = = = 假设向量规格化长度为Ｌ： 用一个作用于第一层的竞争传输函数代替网络的递归层 竞争学习 对于竞争网络，竞争获胜的神经元输出为1，其它神经元输出为0。因此，能够从Kohonen规则中得到相同的结果。 Instar 规则： Kohonen 规则： 可以通过把权值矩阵的行设置为理想原型向量值来设计一个 竞争网络分类器。然而，在不知道原型向量的情况下，希望 能有一个学习规则来训练竞争网络的权值。Instar规则就是一 个这样的学习规则。它不仅能使遗忘减少到最小程度，而且 在输入向量是规格化时使权值向量也是规格化的（书P265）。 图的表示 例子 四次迭代 聚类 训练前 训练后 权 输入向量 一个竞争层有多少个神经元，就能够有多少个类。 这对那些事先不知道类的个数的应用领域是不适用的。 死神经元 竞争学习的一个问题是具有远离输入向量初始权值 的神经元可能永远也不会赢。 Dead Unit 解决办法：给每个神经元加一个负的偏置值，并且当神经元竞 　　　　　争获胜时就增加负偏置值。这将使得一个经常获胜 　　　　　的神经元获胜的机会减少。这种机制称为“良心”。 稳定性 1w(0) 2w(0) p1 p3 p2 p5 p6 p7 p4 p8 1w(8) 2w(8) p1 p3 p2 p5 p6 p7 p4 p8 如果所有输入向量不能构成适当的簇群，那么在学习速度 大的情况下每输入一个输入向量都可能改动已建立的配置， 从而导致系统持续地变化，不能形成类。 竞争层存在的问题 学习速度的选择：慢的学习速度意味着慢的学习，然而权向量一旦到达一个簇的中心，它将保持在中心附近；学习速度大将导致快速学习，然而权向量一旦到达一个簇，它将作为它所代表的簇中的不同向量来回振荡。 不稳定性：如果所有输入向量不能构成适当的簇群，那么不能形成稳定的类；当簇彼此靠的很近时，已形成的分类会被破坏。 死神经元：一个神经元的初始权向量离输入向量太远，将永远也得不得学习。 分类的数目受到限制：一个竞争层有多少个神经元，就能够有多少个类。这对那些事先不知道类的个数的应用领域是不适用的。 生物学中的竞争层 w i j , 1 if d i j , 0 = , e – if d i j , 0 , ? ? í ? ì = Hamming网络中竞争层的权： 根据距离指派权值： 用于竞争的加强中心／抑制周围的联接 墨西哥草帽函数 特征图 修改获胜神经元周围所有神经元的权值向量。 例子 自组织特征图： 收敛 特征图的设计考虑 输出层的设计： 神经元个数与训练样本个数有关。如果神经元个数小 于训练样本个数，则不能区分全部样本模式类，会将相近的模式类合为一类，即只能完成对输入样本的粗分；如果神经元个数多于训练样本个数，则可能将类别分的过细，或是产生“死神经元”。在处理分类问题时，如对分类数没有确切信息，可先设置较多的输出神经元，当发现分类过细或有“死神经元”时，再设法减少输出神经元。 权值的初始化： 权值一般初始化为较小的随机数，使权向量充分分布在整个样本空间。但对样本相对集中的情况，上述设置可能使全部样本聚成一类，这时要使权向量的初始设置与输入样本的分布区充分重合，一种简单易行的方法是从训练样本中随机选初始权值。 特征图的设计考虑（续） 3. 邻域的设计： 目前还没有一般化的方法，通常凭经验确定。一个设计原则是使邻域不断缩小，这样可使得相邻神经元对应的权向量之间既有区别又有相似性。 4. 学习速率的设计： 在开始时取较大的值，然后逐步减小，以至趋向于0。 学习向量量化(LVQ) 第一层的净输入不是计算原型向量与输入向量的内积。取而代之的是计算原型向量与输入向量之间距离的负值!。 取消向量规格化的要求 子类 对于LVQ