平行分布式理论框架讲义.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 连续Hopfield 神经网络 稳定性分析 将下式代入得： 　　　　 　　　 因为 连续Hopfield网络模型是稳定的 * * 连续Hopfield 神经网络 连续Hopfield网络模型的主要特性 1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性； 2)具有时空整合作用； 3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。 4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来 * * Hopfield 神经网络的MATLAB实现 函 数 名 功 能 satlin( ) 饱和线性传递函数 satlins( ) 对称饱和线性传递函数 newhop( ) 生成一个Hopfield回归网络 nnt2hop( ) 更新NNT 2.0 Hopfield回归网络 MATLAB中Hopfield网络的重要函数和功能 * * Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 * * Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 * * Hopfield 神经网络的MATLAB实现 设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。 由点阵构成的数字1 由点阵构成的数字2 * * 程序 * * 稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 * * Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 θjoj：神经元自身的稳定性的测度。 * * 当ANk的状态从ok变成ok′ 1、ANk是输入神经元 * * 当ANk的状态从ok变成ok′ wkk=0 * * ΔΕ=-(netk-θk)Δok ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 Δok0，ok′=1 ok=0，ok由0变到1， netkθk，netk-θk0 所以，-(netk-θk)Δok0故ΔΕ0 结论：网络的目标函数总是下降 Δok0, ok′=0 ok=1，ok由1变到0 netkθk，netk-θk0 -(netk-θk)Δok0故ΔΕ0 * * 当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 * * 当ANk的状态从ok变成ok′ 无论ANk的状态是如何变化的，总有ΔΕ≤ 0 * * 联想记忆的结构 自联想 异联想 双联想记忆（Bidirectional Associative Memory—BAM）。 双联想记忆具有一定的泛化能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。