CN120032650B 一种基于薛定谔桥的扩散模型语音增强方法及系统 （中国海洋大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120032650B(45)授权公告日2025.07.01

(21)申请号202510509991.4

(22)申请日2025.04.23

(65)同一申请的已公布的文献号申请公布号CN120032650A

(43)申请公布日2025.05.23

(73)专利权人中国海洋大学

地址266100山东省青岛市崂山区松岭路

238号

(72)发明人张怀峰候进东张浩纪媛媛王小东

(74)专利代理机构青岛锦佳专利代理事务所(普通合伙)37283

专利代理师朱玉建

(51)Int.CI.

G10L19/022(2013.01)

G10L19/04(2013.01)

G10L19/02(2013.01)

G10L21/0232(2013.01)

G10L21/0224(2013.01)

G10L25/18(2013.01)

G10L25/24(2013.01)

GO6N3/0455(2023.01)

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

GO6F17/13(2006.01)

(56)对比文件

CN116978132A,2023.10.31

CN117854470A,2024.04.09

审查员王立华

G1OL

19/008(2013.01)

权利要求书4页

说明书12页

附图11页

(54)发明名称

一种基于薛定谔桥的扩散模型语音增强方法及系统

(57)摘要

CN120032650B本发明属于语音增强技术领域，公开了一种基于薛定谔桥的扩散模型语音增强方法及系统，该方法将扩散模型的扩散过程转化为随机微分方程的求解过程，并依据薛定谔桥的理论原理，确定随机微分方程，而且直接将复数谱作为扩散模型的输入，省去了从复数谱中提取相位谱和幅度谱的繁琐工作以及逆变换带来的内存开销，同时也避免了相位谱和幅度谱之间的对齐问题。本发明的语音增强方法通过Transformer模块捕捉时序信号的独特特征，再利用U-Net模块融合多尺度信息，搭配涵盖时域、频域和时频域的损失函数，逐步缩小预测样本与干净样本的差异，能

CN120032650B

将扩散模型的扩散过程转化为随机微分方程的求解过程

依据薛定谔桥的理论原理确定随机微分方程，利用方差爆炸设置随机微分方程中的扩散函数和漂移函数，进而得到随机微分方程的解的表示形式

通过Transformer模块和U-Net模块搭建预测网络模型，

预测网络模型用于输出预测样本即随机微分方程的解的表示形式中涉及扩

散过程的过程量

引入复数谱、幅值谱、相位谱、时域信号以及时域信号的度量参数的损失函数，对预测网络模型进行训练

对输入的带噪语音利用到训练好的预测网络模型输出预测样本，并根据随机微分方程的解的表示形式得到增强语音

CN120032650B权利要求书1/4页

2

1.一种基于薛定谔桥的扩散模型语音增强方法，其特征在于，包括如下步骤：

步骤1.将扩散模型的扩散过程转化为随机微分方程的求解过程；

步骤2.依据薛定谔桥的理论原理确定随机微分方程，利用方差爆炸设置随机微分方程中的扩散函数和漂移函数，进而得到随机微分方程的解的表示形式；

步骤3.通过Transformer模块和U-Net模块搭建预测网络模型，预测网络模型用于输出预测样本即随机微分方程的解的表示形式中涉及扩散过程的过程量；

步骤4.引入复数谱、幅值谱、相位谱、时域信号以及时域信号的度量参数的损失函数，对预测网络模型进行训练；

步骤5.对输入的带噪语音利用到训练好的预测网络模型输出预测样本，并根据随机微分方程的解的表示形式得到增强语音；

所述步骤3中，在输入Transformer模块前进行预处理操作，将带噪语音即带噪样本进行归一化处理和短时傅里叶变换STFT,得到复数谱y∈CB×To×F×2,首次迭代时将x,初始化为y,其中x表示t时刻的状态，B代表批次大小，T?代表时域帧数，F代表傅里叶长度；

将x,∈CB×Z×F×2与带噪样本的复数谱y∈CB×Z?×F×2进行整合，得到混合复数谱Xin∈CB×Z?×F×4;

通过多维张量在预设维度上进行重组的方式，将混合复数谱2

Transformer模块包括归一化层