四种无监督学习定律(主要讲前两种).pptxVIP

2025/4/161四种无监督学习定律（主要讲前两种）信号的Heb学习竞争学习微分Heb学习微分竞争学习

1、信号的Heb学习2025/4/162通过求解Heb学习法则的公式可获得如下积分方程

1、信号的Heb学习2025/4/163近期的影响与遗忘渐进相关编码Heb相关解码

近期的影响与遗忘2025/4/1641Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为。2上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。3在式（132）中的遗忘项产生了（133）中对先前知识的指数权。

近期的影响与遗忘2025/4/165实际上遗忘定律提供的最简单的局部非监督学习定律为：说明了两个关键特征：仅依赖于局部信息，即现在的突触强度。呈指数律达到平衡，可实时操作。

渐进相关编码2025/4/166突触矩阵M可用双极相关矩阵表示X和Y：双极信号和。，=1，-1两种极端情况：实际中必须使用一个对角衰减记忆指数矩阵来补偿固有的信息指数衰减。

渐进相关编码2025/4/167X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。

Heb相关解码2025/4/168考虑m个二极矢量联想对的二极相关编码。表示n维二极空间中的一个点，表示p维二极空间中的一个点。二极联想对对应于二值矢量联对。这里表示n维布尔空间中的一个点，代表p维空间中的一个点。

Heb相关解码2025/4/1691可以看出，把－1换成0，就会变成。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案：（143）2可用Heb突触矩阵M对和神经元信号进行双向处理。可把神经元信号前向通过M，后向通过。这里仅考察前向的情况。3二极矢量提供给神经元系统。有若干，越接近，解码精度越高。

Heb相关解码2025/4/1610矢量通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解

Heb相关解码2025/4/1611其中，这里为信号矢量而为噪声矢量。为校正系数，使每个尽可能从符号上接近于。把或其它靠近的矢量Y通过，校正性质依然成立。用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。

Heb相关解码2025/4/1612STEP1STEP2STEP3STEP4假定异联想样本从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。相同的比特数-不同的比特数H表示汉明距离：

Heb相关解码2025/4/1613?若两个二值矢量和靠近，相同的比特数大于不同的比特数，那么。极端情况下，。01?时，，校正系数将度量上含糊不清的矢量丢弃掉，不参与求和。02?与相差较远，。极端情况下则，。03

Heb编码步骤：Heb相关解码2025/4/1614把二值矢量变为双极矢量；对邻接的相关编码的联想求和若时间联想记忆（TAM）假设成立：则对同步的TAM输入，把激励同步阈值化为信号，就产生了：

Heb相关解码2025/4/1615Heb编码步骤（例证）：01一个三步极限环02位矢量：03将位矢量转换成二极矢量04

Heb相关解码2025/4/1616产生TAM矩阵

Heb相关解码2025/4/1617123位矢量通过T产生：因此产生前向极限环后向情况用位矢量乘以，可得到：123

2、竞争学习2025/4/16181确定性竞争学习定律：这里用的是非线性遗忘项，而Heb学习定律用的是线性遗忘项。因此两种学习方法的区别在于它们如何遗忘而不是如何学习。展开：