特征相关性对联想记忆容量的影响.pdfVIP

NewFrontiersinAssociativeMemoriesworkshopatICLR2025

特征相关性对联想记忆容量的影响

StefanBielmeier

DepartmentofComputerScienceandElectricalEngineering

UniversityofCalifornia,Berkeley

Berkeley,CA94720

stefan.bielmeier@tum.de

GeraldFriedland

DepartmentofComputerScienceandElectricalEngineering

UniversityofCalifornia,Berkeley

Berkeley,CA94720

fractor@icsi.berkeley.edu

本

译Abstract

中

1我们研究特征相关性如何影响密集关联记忆（DAM），一种类似于Trans-

vformer注意力模型的容量。实际的机器学习场景涉及特征相关的数据并在

5

9输入空间中学习表示，但目前的容量分析并没有考虑到这一点。我们开发

3了一个经验框架来分析数据结构对容量动态的影响。具体来说，我们系统

1地构建了在特征相关性和模式分离方面变化的数据集，并使用信息论中的

0

.汉明距离和简单的二分查找算法计算模型对应的存储容量。我们的实验结

8

0果证实，记忆容量随着输入空间中分离度的增加呈指数级增长。特征相关

5性并不会根本改变这种关系，但在恒定分离条件下略微降低了容量。这一

2

:效应在能量函数中的更高多项式次数下被放大，表明关联记忆在描绘特征

v

i之间的高阶交互作用方面比模式更为有限。我们的发现将DAM的理论工

x作与实际应用联系起来，并可能激发更多以数据为中心的方法。

r

a

1介绍

霍普菲尔德网络重新获得了关注，因为它们与Transformer架构存在相似之处，并且在各

种应用中表现出强大的实证性能(Vaswani,2017;Ramsaueretal.,2020;Widrichetal.,

2020)。最初，它们存储和检索模式的基本能力仅限于其神经元数量的一小部分(Hopfield,

1982;1984)。研究人员最近将其存储能力扩展到指数级多的记忆作为密集关联记忆（DAM）

(KrotovHopfield,2016;Demircigiletal.,2017)，并简化了将它们整合到现代机器学习架

构中的过程，以解决实际问题(Ramsaueretal.,2020)。

然而，实际数据中的容量动态仍处于探索不足的状态。虽然我们知道记忆的分布，特别是

模式分离，会影响存储极限(Wuetal.,2024)，大多数容量分析假设了理论上的方便分布，

即几乎理想分离且变量相互独立的模式(KrotovHopfield,2016;Demircigiletal.,2017;

Ramsaueretal.,2020)。这一假设在实际情况中并不成立，实际数据的容量已经部分偏离了

ResearchconductedwhileaVisitingResearchScholaratUCBerkeley.

Workdonepr