第2章神经网络研讨.ppt

* * 1、竞争神经网络 问题描述：从一组数中，找出其中最大的数（最大值是唯一的） 竞争过程是按“胜者为王”（the winner takes all）的组织方式，即竞争网竞争过程结束后，获胜的网络节点输出为1（或一个正数），所有未获胜的网络节点输出为0。 Maxnet网为一种典型的竞争网，节点的连接为自兴奋（从节点到其自身构成连接环）和侧抑制（从一个节点到另一个节点的负抑制连接）类型，以完成节点间的相互竟争。 * * 1、竞争神经网络 Maxnet的模型： 其中各个输入点两两相连。 * * 1、竞争神经网络 Maxnet的模型： 竞争ANN处理单元数学表达式为： 其中： 激励函数为： * * 1、竞争神经网络 Maxnet的模型： 综上可得： 其中yi(t)：t时刻i单元状态的值 ,初始化yi(0) =xi 当且仅当有唯一正的单元状态值输出时停止运算 ，标定其对应 神经元为最大值。 * * 1、竞争神经网络 Maxnet的模型：实例 利用MAXNET进行判断 n=5 * * 1、竞争神经网络 Maxnet的模型：实例 当t=0时 y1(0)=5 , y2(0)=4, y3(0)=3 y4(0)=2 y5(0)=1 当t=1时 y1(1)=2 , y2(1)=1, y3(1)=0 y4(1)=0 y5(1)=0 当t=2时 y1(2)=7/5 , y2(2)=2/5 当t=3时 y1(3)=26/25 , y2(3)=1/25 当t=4时 y1(4)=107/125 , y2(4)=0 可得x1最大。 * * 1、竞争神经网络 Maxnet的模型：分析 权重矩阵为： 已知，当i=j时，神经元是自激励的（wij0）而当i不等于j时，两单元间为相互抑制的（wij0）,这一点比较符合人们对人脑的认识，当人们对某一事物思考时注意力会相对集中与这一事物，而对于其他事物则可能会“漠不关心”。 * * 1、竞争神经网络 Maxnet的模型：分析 神经元输出的更新方程为： 即用各个输入点的值 与总的平均值进行比较，若此值大于平均值则保留，反之，则将其舍弃 。 * * 1、竞争神经网络 Maxnet的模型：分析 神经元输出的更新方程为： 运算的最终结果是只保留最大的一个，这也就是为什么MAXNET网要求只有一个最大值的原因，否则最终输出结果就只有是0了，每个节点都试图保持自己的值并通过连接权抑制其它节点（这种作用方式称为相邻抑制），通过若干次迭代过程，使除了最大输入外的所有输入变为负值，并使得它们对应的输出为0。 * * 1、竞争神经网络 Maxnet的模型：讨论 1. 对于上面举的例子最大值与其他的值之间的差值决定了竞争网的滚动次数，如果将由5变为50，则只需一步滚动，就可以计算出最大值，而对于其他值与最大值之间相差不大的，就需要滚动多次才会计算出所需的值。 * * 1、竞争神经网络 Maxnet的模型：讨论 2.可以对权重改使迭代的次数减少，例如： (1)将权值与该时刻的非零状态单元数相联系: 其中n(t)表示t时刻非零状态的单元数 * * 1、竞争神经网络 Maxnet的模型：讨论 由于 * * 1、竞争神经网络 Maxnet的模型：讨论 可以看出，上述方法两步就可以算出最大值，但是此方法构造的模型不是ANN模型。在ANN中，权值一旦训练结束后是不会随时间的变动而变动。因此，上述方法是一种算法严格上不属于ANN模型。 * * 1、竞争神经网络 Maxnet的模型：讨论 (2)在MAXNET网的模型的数学分析中，我们可以根据权值w，联想到竞争网同人类的大脑运行的机理一样，通过激励自己，同时却抑制别人，而实现竞争，根据这一现象，相关学者提出可以适当的增加激励而加快竞争： * * 1、竞争神经网络 Maxnet的模型：讨论 事实上这是最早的MAXNET网的模型（Lippman, 1992）。此时自激励变大。演化公式为： 但这是一个有可能失败的模型。可以验证：当输入值都为负值且最大值与其他值差的和小于最大值的绝对值时，此模型无法求得最大值。也就是说，自激励加大一点，模型反而不成功。 * * 1、竞争神经网络 Maxnet的模型：讨论 此外，关于权值的改进还包括： 因此有： 此模型与Maxnet 模型类似，二者的先进性相同，计算量也相当。 * * 2、海明网络 海明网络常用于无线电码的纠错。在介绍海明网之前，我们介绍一些基本概念。