CN116072134B 基于dct-ddpm的音乐音频修复方法及系统 （四川大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116072134B(45)授权公告日2025.07.04

(21)申请号202310105130.0

(22)申请日2023.02.07

(65)同一申请的已公布的文献号申请公布号CN116072134A

(43)申请公布日2023.05.05

(73)专利权人四川大学

地址610000四川省成都市一环路南一段

24号

(72)发明人魏骁勇刘凯洋杨震群

(74)专利代理机构成都正煜知识产权代理事务所(普通合伙)51312

专利代理师徐金琼

G10L19/18(2013.01)

G10L25/24(2013.01)

G10L25/30(2013.01)

GO6N3/0455(2023.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN113345414A,2021.09.03

CN114373469A,2022.04.19审查员孟令鹏

(51)Int.CI.

G10L21/01(2013.01)

G10L19/02(2013.01)权利要求书4页说明书8页附图4页

(54)发明名称

基于DCT-DDPM的音乐音频修复方法及系统

(57)摘要

CN116072134B本发明公开了一种基于DCT-DDPM的音乐音频修复方法及系统，属于语音处理领域和深度学习领域，解决现有技术只能进行无条件修改，无法还原原始片段信息的问题。本发明包括1)音乐音频数据的获取；2)将音频数据变换到频域；3)处理得到带有Mask的梅尔频谱图；4)训练DCT-DDPM;5)基于训练好的DCT-DDPM对对音频进行修复；6)将修复得到的梅尔频谱图变换到时域。本发明用于音乐音频修

CN116072134B

开始

开始

获取音乐音频数据

将数据变换到频域

处理得到带有Mask的梅尔频谱图

训练DCT-DDPM模型

基于训练好的DCT-DDPM对对音频进行修复

将修复得到的梅尔频谱图变换到时域

结束

CN116072134B权利要求书1/4页

2

1.一种基于DCT-DDPM的音乐音频修复方法，其特征在于，包括如下步骤：

步骤1:获取音乐的音频及对应音频的乐谱，其中，乐谱为MIDI文件；

步骤2:使用短时傅里叶变换和梅尔滤波器将音频转换为梅尔频谱图，并把梅尔频谱图平均切分，将乐谱转换为pianoroll格式，转换后并进行切分，将切分后的音频的梅尔频谱图和pianoroll格式的乐谱对齐；

步骤3:将梅尔频谱图的随机范围替换为高斯噪声作为Mask,得到带有Mask的梅尔频谱图，其中，Mask表示遮挡；

步骤4:在无条件修复的情况下，将带有Mask的梅尔频谱图和步骤2得到的梅尔频谱图使用拼接函数在通道维度上拼接后送入DCT-DDPM进行训练，在条件修复的情况下，将Pianoroll格式的乐谱特征提取后再与带有Mask的梅尔频谱图使用拼接函数在通道维度上拼接后送入DCT-DDPM进行训练，最后得到对应的训练后的DCT-DDPM,其中，DCT-DDPM为离散余弦变换去噪扩散概率模型；

步骤5:当DCT-DDPM训练完毕后，对于有间隙的音频，将待修复的音频转换为待修复的梅尔频谱图后，在无条件修复的情况下，首先随机初始化一个与待修复的梅尔频谱图形状相同的高斯噪声，然后将待修复的梅尔频谱图和高斯噪声在通道维度拼接后送入DCT-DDPM,得到完整的梅尔频谱图，在条件修复的情况下，使用乐谱编码器提取待修复的音频所对应的Pianoroll格式的乐谱的乐谱特征后，再与带有Mask的梅尔频谱图在通道维度拼接后送入DCT-DDPM,得到完整的梅尔频谱图；

步骤6:使用神经网络声码器或者PGHI相位重建算法将得到的完整的梅尔频谱图反转为音频波形。

2.根据权利要求1所述的一种基于DCT-D