第四章突触动力学非监督学习.ppt

第四章 突触动力学 非监督学习 复习 1 Heb学习法则 简化后可得 第四章 突触动力学 非监督学习 复习 2 竞争学习法则 其中含有一个陡峭逻辑响应函数 第四章 突触动力学 非监督学习 复习 3 微分Heb学习法则 第四章 突触动力学 非监督学习 复习 4 微分竞争学习法则 第四章 突触动力学 非监督学习 信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习 一 信号的Heb学习 通过求解Heb学习法则的公式 (132) 可获得如下积分方程 (133) 一 信号的Heb学习 近期的影响与遗忘 渐进相关编码 Heb相关解码 近期的影响与遗忘 Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为 。 上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。 （132）中的遗忘项 产生了（133）中对先前知识 的指数权 。 近期的影响与遗忘 实际上遗忘定律提供的最简单的局部非监督学习定律为： （134） 说明了两个关键特征： 1 仅依赖于局部信息，即现在的突触强度 。 2 呈指数律达到平衡，可实时操作。 渐进相关编码 (135) X和Y：双极信号 和 。 ， = 1，-1 两种极端情况： 1 2 实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。 渐进相关编码 （142） X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。 Heb相关解码 考虑m个二极矢量联想对 的二极相关编码。 表示n维二极空间 中的一个点， 表示p维二极空间 中的一个点。 二极联想对 对应于二值矢量联想对 。 表示n维布尔空间 中的一个点， 代表p维空间 中的一个点。 Heb相关解码 可以看出，把0换成-1， 就会变成 。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案： （143） Heb相关解码 可用Heb突触矩阵M对 和 神经元信号进行双向处理。可把神经元信号前向通过M，后向通过 。这里仅考察前向的情况。 二极矢量 提供给神经元系统。有若干 ， 越接近 ，解码精度越高。 Heb相关解码 信噪分解 （144） （145） （146） Heb相关解码 其中 这里 为信号矢量而 为噪声矢量。 为校正系数，使每个 尽可能从符号上接近于 。把 或其它靠近的矢量Y通过 ，校正性质依然成立。 用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连