CN113393828B 一种语音合成模型的训练方法、语音合成的方法及装置 （腾讯科技（深圳）有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113393828B

(45)授权公告日2025.07.11

(21)申请号202011336173.2

(22)申请日2020.11.24

(65)同一申请的已公布的文献号申请公布号CN113393828A

(43)申请公布日2021.09.14

(73)专利权人腾讯科技(深圳)有限公司

地址518057广东省深圳市南山区高新区

科技中一路腾讯大厦35层

(72)发明人张泽旺

(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285

专利代理师陈松浩

(51)Int.CI.

G10L13/04(2013.01)

G10L13/08(2013.01)

G10L15/02(2006.01)

G10L15/06(2013.01)

G10L25/24(2013.01)

(56)对比文件

CN

CN

110288972

107680582

A,2019.09.27

A,2018.02.09

审查员刘恋

权利要求书5页说明书26页附图7页

(54)发明名称

一种语音合成模型的训练方法、语音合成的方法及装置

(57)摘要

CN113393828B本申请公开了一种基于人工智能技术实现的语音合成模型训练方法，具体涉及语音处理技术领域。本申请包括：获取待训练样本对；基于待训练文本，通过语音合成模型获取第一梅尔谱；基于第一梅尔谱，通过语音识别模型获取第一音素序列；根据第一梅尔谱与真实梅尔谱之间的损失值，以及第一音素序列以及标注音素序列之间的损失值，对语音合成模型的模型参数进行更新。本申请实施例提供了还一种语音合成的方法及装置，能够结合语音识别误差和频谱误差综合

CN113393828B

度。

获取待训练样本对，其中，待训练样本对

获取待训练样本对，其中，待训练样本对

包括具有对应关系的待训练文本以及待训

练音频，待训练文本对应于标注音素序列

,待训练音频对应于真实梅尔谱

基于待训练文本，通过语音合成模型获取第一梅尔谱

基于第一梅尔谱，通过语音识别模型获取第一音素序列

根据第一梅尔谱与真实梅尔谱之间的损失

值，以及第一音素序列以及标注音素序列

之间的损失值，对语音合成模型的模型参

数进行更新

101

102

103

104

CN113393828B权利要求书1/5页

2

1.一种语音合成模型的训练方法，其特征在于，包括：

获取待训练样本对，其中，所述待训练样本对包括具有对应关系的待训练文本以及待训练音频，所述待训练文本对应于标注音素序列，所述待训练音频对应于真实梅尔谱；

基于所述待训练文本，通过语音合成模型获取第一梅尔谱；

基于所述第一梅尔谱，通过语音识别模型获取第一音素序列；

根据所述第一梅尔谱与所述真实梅尔谱，确定均方误差损失值；

根据所述第一音素序列以及所述标注音素序列，确定第一交叉熵损失值；

根据所述均方误差损失值以及所述第一交叉熵损失值，确定第一目标损失值；

根据所述第一目标损失值对所述语音合成模型的模型参数进行更新。

2.根据权利要求1所述的训练方法，其特征在于，所述待训练音频来源于第一对象，所述第一对象对应于第一身份标识；

所述基于所述待训练文本，通过语音合成模型获取第一梅尔谱，包括：

基于所述待训练文本以及所述第一身份标识，通过所述语音合成模型获取所述第一梅尔谱。

3.根据权利要求1所述的训练方法，其特征在于，所述根据所述第一梅尔谱与所述真实梅尔谱，确定均方误差损失值，包括：

获取所述第一梅尔谱所对应的M帧预测频率幅度向量，其中，所述M帧预测频率幅度向量中的每帧预测频率幅度向量对应于所述待训练音频中的一帧音频信号，所述M为大于或等于1的整数；

获取所述真实梅尔谱所对应的M帧标注频率幅度向量，其中，所述M帧标注频率幅度向量中的每帧标注频率幅度向量对应于所述待训练音频中的一帧音频信号；

根据所述M帧预测频率幅度向量确定预测频率幅度平均值；

根据所述M帧标注频率幅度向量确定标注频率幅度平均值；

根据所述预测频率幅度平均值以及所述标注频率幅度平均值，确定M帧频率幅度差值；对所述M帧频率幅度差值进行求平均值处理，得到所述均方误差损失值。

4.根据权利要求1所述的训练方法，其特征在于，所述根据所述第一音素序列以及所述标注音素序列，确定第一交叉熵损失值，包括：

获取所述第一音素序列所