SAMUeL：通过软对齐注意力和潜扩散实现高效语音条件音乐生成.pdfVIP

SAMUeL：通过软对齐注意力和潜扩散实现高

效语音条件音乐生成

HeiShingCheungBoyaZhangJonathanH.Chan

DivisionofEngineeringScienceDivisionofEngineeringScienceInnovativeCognitiveComputingCenter

UniversityofTorontoUniversityofTorontoKingMongkut’sUniversity

Toronto,CanadaToronto,CanadaofTechnologyThonburi

hayson.cheung@mail.utoronto.caerhuboya.zhang@mail.utoronto.caBangkok,Thailand

jonathan.chan@mail.kmutt.ac.th

摘要—我们提出了SAMUeL（SoftAlignmentMusic差距，加上计算需求超过了实际部署约束，推动了高效

1

本U-netLatentdiffusion），这是一个用于声乐条件音乐伴奏声乐条件生成方法的发展。

译生成的轻量级潜在扩散模型，解决了现有音乐AI系统中的关键

中限制。SAMUeL引入了一种新颖的软对齐注意力机制，该机制近期的发展包括OpenAI的Jukebox[6]，该模型通

基于扩散时间步长自适应地结合局部和全局时序依赖关系，从而

2有效地捕获多尺度的音乐结构。在预训练变分自编码器的压缩潜过艺术家和流派条件生成原始音频，但生成过程需要超

v过6小时[7]，以及Meta的MusicGen[2]，提供文本和

1在空间中操作，与最先进的系统相比，SAMUeL实现了220倍

9的参数减少，并且推理速度提高了52倍。实验评估显示，在仅使音频条件，但需要大量的计算资源。Google的SingSong

9用15M参数的情况下具有竞争力的表现，生产质量和内容统一[8]代表了最相关的先前工作，它使用改编的AudioLM

9

1性超过了OpenAIJukebox，同时保持了合理的音乐连贯性。架构从人声输入生成乐器伴奏，但采用自回归生成，并

.

7超轻量级架构使得能够在消费级硬件上实现实时部署，使AI辅未使用复杂的注意力机制来捕捉复杂的人声-伴奏关系。

0助的音乐创作适用于交互式应用和资源受限环境。

5

2IndexTerms—音频合成，扩散模型，音乐生成，人声条本文介绍了SAMUeL（SoftAlignmentMusicU-

:

v件，注意力机制，潜在扩散netLatentdiffusion），这是一种专为声乐条件伴奏生成

i

x设计的超轻量级潜在扩散模型。该模型名称反映了其核

r

aI.介绍心架构组件：动态平衡时间依赖性的软对齐注意力机

当代音乐生成系统主要依赖于文本条件生成[1],制、U-net主干架构以及在压缩潜空间中操作以提高效

[2]或符号音乐表示[3]，这为通过旋律概念而非文字描率。SAMUeL直接接受声乐旋律作为输入，并生成相应

述来构思音乐的音乐家们造成了显著差距。这一限制对的乐器伴奏轨道，同时保持和声一致性、节奏同步和风

于那些从人声旋律开始并需要适当器乐伴奏的作曲家格连贯性。SAMUeL使用一种新颖的软对齐注意力机

尤为成问题——这是音乐制作中常见的工作流程，现有制，在压缩潜空间中操作，动态平衡局部声学模式与全

的AI系统未能有效解决。局音乐结构。

当