迭代细化，而不是训练目标，使得 HuBERT 的行为与 wav2vec 2.0 不同.pdfVIP

迭代细化，而不是训练目标，使得HuBERT的行为与wav2vec2.0

不同

RobinHuo,EwanDunbar

DepartmentofLinguistics,UniversityofToronto,Canada

DepartmentofComputerScience,UniversityofToronto,Canada

DepartmentofFrench,UniversityofToronto,Canada

Abstract两个模型都预测了掩码输入帧的伪标签，但Hu-

robin.huo@mail.utoronto.ca,ewan.dunbar@utoronto.ca

BERT最优化的是一个掩码语言建模分类目标，

自监督模型在语音表示学习中因其灵活性和在下

而wav2vec2.0则最优化了一个带有负例的对比

游任务上的表现而得到广泛应用，但这些模型架

目标。其次，HuBERT通过在声学特征或现有的

构对所学语言信息的影响尚未被充分研究。本研

HuBERT表示上进行k-均值聚类来获取此任务的

究调查了两种这样的模型：HuBERT和wav2vec

伪标签，并保持它们固定不变，而wav2vec2.0使

2.0，并最小化比较它们的两个架构差异：训练目

本用量化模块共同学习其伪标签。最后，HuBERT

标以及通过多次训练迭代进行的迭代伪标签细化。

译在多次预训练迭代中进行了预训练，每次训练的

我们发现隐藏表示与词身份、音素身份和说话人

中表示都被聚类到下一个迭代的伪标签类别中，而

身份之间的典型相关性差异是由训练迭代解释的，

1wav2vec2.0只进行一次预训练。

v而不是训练目标。我们建议未来的研究调查迭代

0细化在编码自监督语音表示中的语言信息有效性我们隔离并研究了训练目标以及伪标签的迭

1代细化对通过多次训练传递所编码的语言信息的

1的原因。

8影响。我们发现关键差异在于使用了迭代细化。一

0.IndexTerms:语音表示，HuBERT，wav2vec2.0，个类似HuBERT模型的行为与其表示在各层中与

8迭代细化，自监督学习

0单词和音素的相关性可以通过训练迭代次数来预

5测，而不是由训练目标决定：随着训练迭代次数增

21.介绍

:加，最终层次中的语言相关性也随之提高。此外，

v

i自监督学习（S