基于深度神经网络的音乐节拍跟踪及速度估计算法研究.pdfVIP

摘要

音乐一直以来在我们的生活、文化和社会交往中发挥着重要作用。在过去

二十年里，我们与音乐的交互方式发生了巨大的变化，音乐的数字化使音乐信

息检索成为可能，而人工智能技术的发展使音乐分析迈入自动化的大门。音乐

节奏分析作为音乐信息检索领域的核心任务之一，是音乐情感分析、音乐分类、

音乐创作与改编的基础，在音乐医疗、视频剪辑、灯效控制、音乐喷泉等领域

中有广阔的应用前景。如何实现轻量化、高准确度、高鲁棒性、高泛用性的音

乐节奏分析系统成为研究的热点。本文针对音乐节奏分析中的节拍跟踪和速度

估计两个子任务进行了深入的研究。

传统基于RNN的节拍跟踪模型参数量大，无法实现大规模并行处理，且无

法处理可变长序列。针对这些问题，本文将节拍跟踪视为长序列分类问题，提

出了一种基于非因果TCN的轻量化音乐节拍跟踪模型，并加入残差结构来防止

网络退化，为防止神经元失效，本文使用ELU代替ReLU作为激活函数。该模

型使用128维梅尔频谱特征作为输入，并使用CNN学习一种压缩的中间表示

来降低TCN的学习难度。模型的输出使用基于DBN的方法进行后处理，本文

在时间分辨率一致性和速度稳定性上对该方法进行了优化。该模型可以处理可

变长输入，在大部分数据集上的性能优于LSTM模型，且参数量降低62%，收

敛速度大幅加快。

单纯的TCN模型，仍然无法很好地处理节奏复杂的音乐，针对这一问题，

本文基于注意力机制对模型结构进行了进一步优化。本文提出一种可灵活调整

感受野大小的多头膨胀滑窗注意力，在TCN模型中插入编码器结构，并设计了

TCN与编码器的连接方式，搭建了一种TCN-attention模型。与TCN模型相比，

该模型在Beat跟踪和Downbeat跟踪上分别实现了4.1%和14.1%的准确率提升。

此外，针对节拍跟踪可获取的标注数据集较少的问题，本文提出了一种基

于源分离的数据增强策略，将输入频谱分离成5维音轨，以增加可用数据量，

并突出关键特征。使用该模块后，TCN-attention模型的Beat跟踪和Downbeat

跟踪准确率分别提高5.5%和8.1%。

本文将速度估计视为节拍跟踪的辅助任务，基于多任务学习理论，使用全

局跳跃连接的方式实现了能够同时完成节拍跟踪和速度估计的多任务系统，并

设计了一种速度估计后处理方法，该系统的速度估计性能达到了目前最先进的

水平。此外，本文证明了速度估计的加入对节拍跟踪性能也有一定提升效果。

关键词:节拍跟踪；速度估计；注意力机制；数据增强；多任务学习

Keywords:beattracking,tempoestimation,attentionmechanism,dataaugmentation,

multi-tasklearning

目录

摘要I

ABSTRACTIII

目录V

第1章绪论1

1.1课题背景及研究的目的和意义1

1.1.1课题背景1

1.1.2研究的目的和意义2

1.2国内外研究现状3

1.2.1节拍跟踪研究现状3

1.2.2速度估计研究现状5

1.3本文的主要研究内容5

第2章音乐节奏分析基础7

2.1数据集与音频预处理7

2.1.1数据集7

2.1.2音频预处理8

2.2深度学习基础9

2.2.1卷积神经网络10

2.2.2时间卷积网络11

2.2.3注意力机制12

2.3性能评估指标13

2.3.1节拍跟踪指标13

2.3.2速度估计指标16

2.4本章小结17

第3章基于TCN的音乐节拍跟踪算法研究18

3.1特征提取18

3.2基于TCN的节拍跟踪模型20

3.2.1非因果TCN20

3.2.2模型