第六章_BAM-课件.pptVIP

第五章双向联想记忆(Bidirectional Associative Memory) 双向联想记忆网络是一种异联想(hetero-association)的双层神经网络 记忆存储的样本是二元数据对{ }, A,B分属不同维量的向量空间 输入 或 ，经过双向反馈不断提高回忆联向精度，网络稳定输出{ }或足够逼近{ }。 网络结构 双向反馈联想计算 双向反馈联想计算 记忆--权重学习 设有N个样本 ，采用基于Hebb规则的外积法得： 正向联想存储器： 矩阵 反向联想存储器： 矩阵 记忆--权重学习例 样本： 记忆--权重学习例 给定三个样本对 (x1, y1)、(x2, y2) 、 (x3, y3) 则 BAM稳定性 与Hopfield网络类似，BAM的样本存储在能量极小处 Kosko定义了系统的能量函数： BAM稳定性 如果将离散BAM 的差分状态改成下列的微分方程式，就会得到连续BAM (continuous bidirectional associative memory)： 其中，Ii 以及 I’j 为正值常数。 BAM稳定性 根据 Kosko 的研究，BAM 的最大记忆容量为： ，更保守的估计应该不会超过 BAM的状态改变，不管是用同步 (synchronization) 或异步 (asynchronization) 的方式，都会收敛至双向稳定状态。 联想记忆的性能取决于吸引子的尺寸、存储容量和收敛时间。 所存模式的正交性或统计可分离性影响网络的记忆和回忆能力。 BAM稳定性 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 序列模式记忆与联想 BAM 除了可被用于记忆静态 (static) 的向量对之外，亦可用来存储动态的状态变化 (dynamic state transitions)，譬如说，想要存储以下的一连串状态向量： 序列模式记忆与联想 序列模式记忆与联想 假如有以下三个状态要存储： 正联想 * 概述 A B 两层结构，A层是m维，B层是p维。两者都可以作为输入层或 输出层 每个神经元与本层其他神经元无连接，而和另一层全部神经元 连接。 欲被联想的模式从某一层输入，经过双向反馈联想计算，最终 趋于稳定，得到输出。 神经元对输入加权和进行非线性处理。 在t时刻，A层输入 ，经计算可得B层 的输出 其中，单元j的输出为： 也可以用阶跃函数 φ … … 第 k次前馈计算： 第 k-1 次反馈计算： … … 第 4次前馈计算： 第 3 次反馈计算： 第 2 次前馈计算： 第 1 次反馈计算： 所谓稳定收敛就是网络经过多次反馈计算后，两层的状态 稳定不变： 其中： 将B层的输出反馈输入A层，同样计算A层各单元的输出，如此反复，直到两层的状态稳定收敛。 → 输入 联想： （标量转置为其本身） 类似Hopfield可以证明：沿着状态空间 中的离散轨迹， 总有 而对所有的A和B，E总是有界，即 ( 令θ=0) 我们可以将此问题视为异联想的记忆问题，亦即要 BAM记得以下之向量对：