4神经网络理论基础答案.ppt

离散型Hopfield神经网络 Hopfield神经网络 可见：当网络的异步调整次序一定时，最终稳定于哪个吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。 Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计 ⑴ 为保证异步方式工作时网络收敛，W应为对称阵； ⑵ 为保证同步方式工作时网络收敛，W应为非负定对称阵； ⑶ 保证给定样本是网络的吸引子，并且要有一定的吸引域。 为了使所设计的权值满足要求，权值矩阵应符合以下要求 Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计(外积和法 ) DHNN网络的连接权值不是通过学习或训练获得的，而是基于能量函数并根据Hebb规则设计确定的。 假设有m个样本向量X1、X2、…、Xm要存入Hopfield神经网络中，则第i个神经元与第j个神经元之间相连的权值wij为： 矩阵形式为： Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计(外积和法 ) 显然，上面所设计的连接权矩阵满足对称性的要求。下面进一步分析所给样本是否为网络的吸引子，这一点是十分重要的。下面以x∈{-1，1}n 的情况为例进行分析。 1）若m个样本x(k) (k＝1，2，…，m)是两两正交的，即 若n-m0， 即x(k)是网络的吸引子。 2）若m个样本x(k) (k＝1，2，…，m) 不是两两正交的，且设向量之间的内积为: x(i)Tx(j)=βij, 显然βii=n, i=1, 2, …, n，则有 Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计(外积和法 ) 取其中第j个元素 若能使得 有 则x(k)是网络的吸引子 Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计(外积和法 ) 其中 若能使 即 则可以保证所有的样本均为网络的吸引子 Hopfield神经网络 离散型Hopfield神经网络 DHNN的权值设计(外积和法 ) 3）若m个样本x(k) 满足 其中 则有 从而得出m个样本均为网络吸引子的条件为 关于 的解释 若 假定 即 和 有α n个元素不同, 有(1- α)n 元素相同 则 假定 即 和 有(1-α)n个元素不同, 有α n元素相同 则 则 表示海明距离 Hopfield神经网络 Hopfield神经网络 样本特性 样本为吸引子条件或方法 m个样本x(k) 两两正交 m个样本x(k) 不是 两两正交( ) m个样本x(k) 不是 两两正交( ) m个样本x(k) 直接检验样本是否为吸引子 Hopfield神经网络 离散型Hopfield神经网络 DHNN的容量问题 所谓记忆容量是指：在网络结构参数一定的条件下，要保证联想功能的正确实现，网络所能存储的最大的样本数。也就是说，给定网络结点数n，样本数m最大可为多少。 Hopfield提出的记忆容量：m≤0.15n（n为神经元个数）。 按照样本为随机分布的假设所做的理论分析表明，当 n→∞时，其记忆容量为 Hopfield神经网络 离散型Hopfield神经网络 样本为吸引子条件 2 2 9 记忆容量 n=10, 样本不是 两两正交 假设条件 样本特性 n=10, 样本不是 两两正交 n=10 样本两两正交 样本性质对记忆容量的影响 Hopfield神经网络 连续型Hopfield神经网络 结构与离散型Hopfield神经网络相似，但连续型Hopfield神经网络中所有神经元都同步工作，各输入输出均是随时间连续变化的模拟量。 Hopfield用模拟电路（电阻、电容和运算放大器）实现网络的节点。 ij R j V i V i C i R i u i I ) ( · f ) ( · f 系统由n个节点组成，第i个节点方程为： Hopfield神经网络 连续型Hopfield神经网络 ij R j V i V i C i R i u i I ) ( · f ) ( · f 设 则 Hopfield神经网络 连续型Hopfield神经网络 ij R j V i V i C i R i u i I ) ( · f ) ( · f 设 则 其中 可见： 1. R和C的并联模拟了生物神经元的时间常数； 2. 1/Rij模拟了神经元间的突触特性； 3. 运算放大器模拟了神经元的非线性特性； 4. Ii相当于阈值 Hopfiel