DiffRhythm+: 带有偏好优化的可控且灵活的全曲生成-计算机科学-人工智能-歌词生成-歌曲创作-多模态.pdfVIP

DiffRhythm+:带有偏好优化的可控且灵活的

全曲生成

HuakangChen,YuepengJiang,GuobinMa,ChunboHao

ShuaiWang,JixunYao,ZiqianNing,MengMeng,JianLuan,LeiXie

Audio,SpeechandLanguageProcessingLab(ASLP@NPU)

SchoolofIntelligenceScienceandTechnology,NanjingUniversity,Suzhou,China

MiLMPlus,XiaomiInc.

huakang@,lxie@

摘要—歌曲作为音乐艺术的一种核心形式，体现了人类智动地进行音乐创作。这些发展促进了各种应用，如为短

本慧和创造力的丰富性。虽然生成模型领域的近期进展促进了长视频生成个性化音乐、电影配乐、教育工具和治疗实践

译篇幅歌曲创作的进步，但当前用于全曲合成的系统仍面临重[4],[5]。

大挑战，包括数据不平衡、控制不足以及音质不一致等问题。

中音乐生成领域的研究通常涵盖三个主要领域：歌唱

DiffRhythm作为一种基于扩散的开创性模型，在通过生成带

1有表现力的主唱和伴奏的全曲方面推动了该领域的发展。然而，语音合成（SVS）、文本到音乐生成和歌词到歌曲生成。

v

0其性能受到训练数据集不平衡及音乐风格控制有限的限制，导SVS从提供的歌词和乐谱[6]–[10]生成具有表现力的、

9致质量差异显著且创作灵活性受限。为解决这些局限，我们提出类似人类的歌声，支持虚拟歌手、艺术家声音克隆以及

8

2了DiffRhythm+，一种用于可控制和灵活全曲生成的增强扩辅助工具等应用。相比之下，文本到音乐生成根据文本

1散框架。DiffRhythm+利用了一个大幅扩展并平衡的训练数据

.描述、情绪提示或指令[11]–[16]创建乐器音乐。然而，

7集来缓解诸如歌词重复或遗漏等问题，同时促进更丰富音乐技巧

0和表现力的出现。该框架引入了一种多模态风格条件策略，允许当独立使用时，这两种方法都存在固有限制。SVS模型

5用户通过描述性文本和参考音频精确指定音乐风格，从而显著增通常只生成无伴奏的声乐轨道，而文本到音乐系统则生

2

:强创意控制和多样性。我们进一步介绍了直接与用户偏好对齐的成缺乏声乐旋律和歌词的乐器轨道。在现实世界的创作

v

i表现优化方法，引导模型在评估指标上始终输出更受偏好的结中，声乐与伴奏交织在一起以创造出丰富的语义和听觉

x

r果。广泛的实验表明，DiffRhythm+在自然度、编排复杂性和一致性，这对全面的歌曲生成构成了重大挑战。

a

听众满意度方面相较于先前系统取得了显著改进。音频样本可

歌曲生成特别针对这一挑战，通过从原始歌词和风

在https://longwaytog0.github.io/DiffRhythmPlus/获

取。格提示直接合成完整的歌曲（包括人声和乐器）来解

IndexTerms—歌词生成，歌曲创作，扩散模型，多模态，决。当前的方法通常采用基于自回归语言模型（LM）的

偏好优化。方法或基于扩散的技术。基于LM的方法[17]–[21]将歌