在自我监督的音乐表示学习中平衡信息保存和解缠.pdfVIP

在自我监督的音乐表示学习中平衡信息保存和解缠

JuliaWilkins,SivanDing,MagdalenaFuentes,JuanPabloBello

NewYorkUniversity,NewYork,USA

摘要—近期的自监督学习（SSL）方法的进步提供了一系列策略，可用对比技术设计目标作为解缠激励：不仅有像传统CL那样学习

以从音乐音频中捕获有用的表示而无需标记数据。虽然一些技术侧重于共性的不变性项，还有将特定性分离开来的发散项。我们在控制

通过重构保留全面细节，但其他技术则倾向于通过对比目标来突出语义

环境下通过下游音高和乐器分类任务系统地研究了不同设计选择

结构。很少有研究探讨这些范式在一个统一的SSL框架中的相互作用。

在这项工作中，我们提出了一种多视角SSL框架，用于解开音乐音频表下对比目标和重构目标之间的这种交互作用。我们的发现表明，

示，该