双向联想记忆.pptVIP

第1页，共14页，编辑于2022年，星期五 双向联想记忆网络是一种异联想(hetero-association)的双层神经网络 记忆存储的样本是二元数据对{ }, A,B分属不同维量的向量空间 输入 或 ，经过双向反馈不断提高回忆联向精度，网络稳定输出{ }或足够逼近{ }。 概述 第2页，共14页，编辑于2022年，星期五 网络结构 A B 两层结构，A层是m维，B层是p维。两者都可以作为输入层或 输出层 每个神经元与本层其他神经元无连接，而和另一层全部神经元 连接。 欲被联想的模式从某一层输入，经过双向反馈联想计算，最终 趋于稳定，得到输出。 神经元对输入加权和进行非线性处理。 第3页，共14页，编辑于2022年，星期五 双向反馈联想计算 在t时刻，A层输入 ，经计算可得B层 的输出 其中，单元j的输出为： 也可以用阶跃函数 φ 第4页，共14页，编辑于2022年，星期五 记忆--权重学习 设有N个样本 ，采用基于Hebb规则的外积法得： 正向联想存储器： 矩阵 反向联想存储器： 矩阵 第5页，共14页，编辑于2022年，星期五 记忆--权重学习例 样本： → 输入 联想： 第6页，共14页，编辑于2022年，星期五 BAM稳定性 与Hopfield网络类似，BAM的样本存储在能量极小处 Kosko定义了系统的能量函数： （标量转置为其本身） 类似Hopfield可以证明：沿着状态空间 中的离散轨迹， 总有 而对所有的A和B，E总是有界，即 ( 令θ=0) 第7页，共14页，编辑于2022年，星期五 BAM稳定性 如果将离散BAM 的差分状态改成下列的微分方程式，就会得到连续BAM (continuous bidirectional associative memory)： 其中，Ii 以及 I’j 为正值常数。 第8页，共14页，编辑于2022年，星期五 BAM稳定性 根据 Kosko 的研究，BAM 的最大记忆容量为： ，更保守的估计应该不会超过 BAM的状态改变，不管是用同步 (synchronization) 或异步 (asynchronization) 的方式，都会收敛至双向稳定状态。 联想记忆的性能取决于吸引子的尺寸、存储容量和收敛时间。 所存模式的正交性或统计可分离性影响网络的记忆和回忆能力。 第9页，共14页，编辑于2022年，星期五 BAM稳定性 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 第10页，共14页，编辑于2022年，星期五