四种无监督学习定律(主要讲前两种).pptVIP

**竞争作为指示器其中是阻性反馈值，它等于突触加权信号的和式。式（170）中为二值阈值化函数，因此该式可简化为：当第j个神经元获胜时，如果第k个神经元获胜，则。竞争神经元激励自己（或邻近区域），同时抑制其它（或较远的区域）。**竞争作为相关检测器度量指示函数：于是竞争学习就简化为信号相关检测。那么如何将度量竞争学习简化为相关检测？设在每个时刻的突触矢量具有相等的正的有限的范数值：**四种无监督学习定律（主要讲前两种）信号的Heb学习竞争学习微分Heb学习微分竞争学习**通过求解Heb学习法则的公式可获得如下积分方程1、信号的Heb学习**1、信号的Heb学习近期的影响与遗忘渐进相关编码Heb相关解码**近期的影响与遗忘Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为。上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。在式（132）中的遗忘项产生了（133）中对先前知识的指数权。**近期的影响与遗忘实际上遗忘定律提供的最简单的局部非监督学习定律为：说明了两个关键特征：仅依赖于局部信息，即现在的突触强度。呈指数律达到平衡，可实时操作。**突触矩阵M可用双极相关矩阵表示(135)X和Y：双极信号和。，=1，-1两种极端情况：1、2、实际中必须使用一个对角衰减记忆指数矩阵来补偿固有的信息指数衰减。渐进相关编码#2022**渐进相关编码X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。**Heb相关解码考虑m个二极矢量联想对的二极相关编码。表示n维二极空间中的一个点，表示p维二极空间中的一个点。二极联想对对应于二值矢量联对。这里表示n维布尔空间中的一个点，代表p维空间中的一个点。**Heb相关解码可以看出，把－1换成0，就会变成。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案：（143）可用Heb突触矩阵M对和神经元信号进行双向处理。可把神经元信号前向通过M，后向通过。这里仅考察前向的情况。二极矢量提供给神经元系统。有若干，越接近，解码精度越高。**Heb相关解码矢量通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解010203**Heb相关解码其中，这里为信号矢量而为噪声矢量。为校正系数，使每个尽可能从符号上接近于。把或其它靠近的矢量Y通过，校正性质依然成立。用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。**Heb相关解码假定异联想样本从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。相同的比特数-不同的比特数H表示汉明距离：**Heb相关解码?若两个二值矢量和靠近，相同的比特数大于不同的比特数，那么。极端情况下，。?时，，校正系数将度量上含糊不清的矢量丢弃掉，不参与求和。?与相差较远，。极端情况下则，。**Heb相关解码Heb编码步骤：把二值矢量变为双极矢量；对邻接的相关编码的联想求和若时间联想记忆（TAM）假设成立：则对同步的TAM输入，把激励同步阈值化为信号，就产生了：**Heb相关解码Heb编码