神经信息学说课讲解.pptVIP

Hopfield 神经网络的MATLAB实现 函 数 名 功 能 satlin( ) 饱和线性传递函数 satlins( ) 对称饱和线性传递函数 newhop( ) 生成一个Hopfield回归网络 nnt2hop( ) 更新NNT 2.0 Hopfield回归网络 MATLAB中Hopfield网络的重要函数和功能 Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 newhop( ) 功能 生成一个Hopfield回归网络。 格式 net = newhop(T) 说明 net为生成的神经网络，具有在T中的向量上稳定的点；T是具有Q个目标向量的R*Q矩阵（元素必须为-1或1）。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层，其激活函数用satlins( )函数，层中的神经元有来自它自身的连接权和阈值。 Hopfield 神经网络的MATLAB实现 MATLAB中与Hopfield网络有关的重要函数和功能 satlins( ) 功能 对称饱和线性传递函数 格式 A = satlins(N) A输出向量矩阵；N是由网络的输入向量组成的S*Q矩阵，返回的矩阵A与N的维数大小一致，A的元素取值位于区间[0，1]内。当N中的元素介于-1和1之间时，其输出等于输入；当输入值小于-1时返回-1；当输入值大于1时返回1。 Hopfield 神经网络的MATLAB实现 设印刷体数字由10 10点阵构成，就是将数字分成很多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字。 由点阵构成的数字1 由点阵构成的数字2 程序 稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 θjoj：神经元自身的稳定性的测度。 当ANk的状态从ok变成ok′ 1、ANk是输入神经元 当ANk的状态从ok变成ok′ wkk=0 ΔΕ=-(netk-θk)Δok ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 Δok0，ok′=1 ok=0，ok由0变到1， netkθk，netk-θk0 所以，-(netk-θk)Δok0故ΔΕ0 结论：网络的目标函数总是下降 Δok0, ok′=0 ok=1，ok由1变到0 netkθk，netk-θk0 -(netk-θk)Δok0故ΔΕ0 当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 当ANk的状态从ok变成ok′ 无论ANk的状态是如何变化的，总有ΔΕ≤ 0 联想记忆的结构 自联想 异联想 双联想记忆（Bidirectional Associative Memory—BAM）。 双联想记忆具有一定的泛化能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 基本的联想记忆结构 ? W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … … … … … 网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 激活函数——阈值函数 随着λ的增加，该函数趋近于阈值为0的阈值函数。 1 if neti0 yi= 0 if neti0 yi if neti=0 λ2λ1 λ1 λ2 1/2 基本BAM的稳定 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 异联想记忆 样本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)} 权矩阵 网络需要对输入向量进行循环处理的情况 当输入向量中含有“噪音” 样本集所含的信息超出网络的容量 容量 Kosko（1987），一般情况下，相联存储器的容量不会超过网络最小层神经元的个数min Haines和Hecht-Nielson（1988），“非均匀”网络的容量最多可以