四种无监督学习定律主要讲前两种.ppt

四种无监督学习定律（主要讲前两种） 信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习 1、信号的Heb学习 通过求解Heb学习法则的公式 (132) 可获得如下积分方程 (133) 1、信号的Heb学习 近期的影响与遗忘 渐进相关编码 Heb相关解码 近期的影响与遗忘 Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为 。 上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。 在式（132）中的遗忘项 产生了（133）中对先前知识 的指数权 。 近期的影响与遗忘 实际上遗忘定律提供的最简单的局部非监督学习定律为： （134） 说明了两个关键特征： 1 仅依赖于局部信息，即现在的突触强度 。 2 呈指数律达到平衡，可实时操作。 渐进相关编码 突触矩阵M可用双极相关矩阵 表示 (135) X和Y：双极信号 和 。 ， = 1，-1 两种极端情况： 1、 2、 实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。 渐进相关编码 （142） X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。 Heb相关解码 考虑m个二极矢量联想对 的二极相关编码。 表示n维二极空间 中的一个点， 表示p维二极空间 中的一个点。 二极联想对 对应于二值矢量联对 。 这里 表示n维布尔空间 中的一个点， 代表p维空间 中的一个点。 Heb相关解码 可以看出，把－1换成0， 就会变成 。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案： （143） 可用Heb突触矩阵M对 和 神经元信号进行双向处理。可把神经元信号前向通过M，后向通过 。这里仅考察前向的情况。 二极矢量 提供给神经元系统。有若干 ， 越接近 ，解码精度越高。 Heb相关解码 矢量 通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解 （144） （145） （146） Heb相关解码 其中 ， 这里 为信号矢量而 为噪声矢量。 为校正系数，使每个 尽可能从符号上接近于 。把 或其它靠近的矢量Y通过 ，校正性质依然成立。 用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。 Heb相关解码 假定异联想样本 从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。 相同的比特数-不同的比特数