马尔可夫链估计与上下文学习中的估算.pdfVIP

马尔可夫链估计与上下文学习中的估算

SimonLepage1,2,JeremieMary1DavidPicard2

1CRITEOAILab,Paris,France

2LIGM,EcoledesPonts,UnivGustaveEiffel,CNRS,France

Résumé–Nousinvestiguonslacapacitédestransformersàapprendredesalgorithmesutilisantlecontextealors

qu’ilssontentraînésuniquementenutilisantlaprédictionduprochaintoken.Nousconsidéronsdeschaînesde

Markovdontlesmatricesdetransitionsonttiréesaléatoirementetnousentraînonsuntransformeraprédirele

prochaintoken.Lesmatricesd’entraînementetd’évaluationdiffèrentetnousmontronsqu’àpartird’unecertaine

tailledemodèleetdedonnéesd’entraînement,lemodèleestcapabled’estimerlesprobabilitésdetransitionà

partirducontexteaulieudemémorisercellesdesmatricesd’entraînement.Deplus,nousmontronsqu’encoder

astucieusementl’espaced’étatpermetaumodèledegénéraliserplusrobustementàdeschaînesdeMarkovdontles

本structuressontdifférentesdecellesvuesdurantl’apprentissage.

译Abstract–我们研究了仅通过下一个标记预测训练的transformers学习涉及其上下文算法的能力。我们设置了

中具有随机转移矩阵的马尔可夫链，并训练transformers来预测下一个标记。训练和测试中使用的矩阵是不同的，我

1们展示了存在一个阈值，在这个阈值之上，模型能够根据其上下文估计转移概率，而不是记忆训练模式。此外，我

v

4们还表明，对状态进行更复杂的编码可以使模型对于结构不同于训练期间所见的马尔可夫链做出更为稳健的预测。

3

9

31介绍种能力会出现。我们设定了一个简单的问题，即估计

0

.马尔可夫链的转换概率。给定一段（较长）的实现作为

8

0变换器及其核心的注意力机制自作为语言建模工输入，我们希望模型产生尽可能可能的序列延续。当

5具诞生以来，逐渐成为最受欢迎的神经架构之一[16]。然，我们不希望变换器记住单个链的转换概率，而是

2

:从那时起，它们现在被广泛应用于其他任务中，如计要学会从上下文中给出的例子中估计任何序列的转换

v

i算机视觉[7]、视频生成[10]或文本到语音生成[6]。概率。如果使用转换概率的经验估计器进行监督，这

x

r这种成功主要来自于变换器架构的扩展能力，这在经个任务会非常直接。然而，仅用下一个标记预测损失

a

验上已经被证明能够很好地处理模型大小和训练数据训练时，学习变得异常困难。我们的贡献如下：

量的增长[2]。此外，最近的研究表明变换器是通用—我们彻底研究了Transf