MusiScene：利用 MU-LLaMA 进行场景想象和增强视频背景音乐生成-计算机科学-音乐语言模型-视频背景音乐生成.pdf

MusiScene：利用MU-LLaMA进行场景想象和增强视频背景音乐生成

FathinahIzzati*XinyueLi*YuxuanWuGusXia

MohamedbinZayedUniversityofArtificialIntelligence

{fathinah.izzati,xinyue.li,yuxuan.wu,gus.xia}@mbzuai.ac.ae

摘要etal.,2021)具有相似的目标，后者引入了一种

新颖的方法，利用可控音乐变换器（Controllable

人类在听音乐时可以想象出各种氛围和场

MusicTransformer）生成视频背景音乐，这种

本景，设想出与每首曲子相辅相成的电影画方法允许调整音乐属性以适应视频内容。在我

译面。例如，缓慢而忧郁的音乐可能会让人联们的初步实验中，我们发现音乐字幕丰富了带

中想到心碎的画面，而欢快的旋律则暗示着有音乐元素的视频描述，能够产生更加细腻的

庆祝的场景。本文探讨了音乐语言模型（如

1MU-LLaMA）是否能够执行一个类似的任声音轨道。然而，我们希望进一步改进通过新

v

4务，称为音乐场景想象（MSI），这需要从视相关上下文标题和更高效的生成方法产生的音

9

8频和音乐中获取跨模态信息来进行训练。乐。我们假设为了从视频中生成背景音乐，可

5为了改进现有的仅关注音乐元素的音乐描

0能只需要使用具有其内在场景、氛围、气氛和

.述模型，我们引入了MusiScene，这是一种

7设置想象能力的音乐字幕就足够了。

0设计用于想象与每段音乐相辅相成的画面

5的音乐描述模型。本文中，(1)我们构建了然而，大多数现有的音乐字幕模型的问题在于

2

:一个包含3,371对的大规模视频音频描述

v它们主要关注从音乐角度对音频进行分类，如

i数据集，(2)我们为MSI任务微调了Music

x音调、节奏和音乐情绪，缺乏场景想象的能力。

rUnderstandingLLaMA来创建MusiScene，

a以及(3)我们进行了全面评估，并证明我为了提高这种能力，我们提出了MusiScene，一

们的MusiScene在生成与上下文相关的描种能够应对音乐场景想象(MSI)任务额外挑战

述方面比MU-LLaMA更具能力。我们利用的音乐字幕模型。我们的目标是探索音乐大语

生成的MSI描述来增强基于文本的视频背言模型能否在给定音乐输入的情况下想象出场

景音乐生成（VBMG）。代码和数据集可在景以及这一能力如何影响VBMG过程。这也

GitHub1和huggingface2上获取。

有助于下游任务，如增强音乐字幕、标签和推