CN114220414B 语音合成方法以及相关装置、设备 （广州虎牙科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114220414B(45)授权公告日2025.07.04

(21)申请号202111280665.9

(22)申请日2021.10.29

(65)同一申请的已公布的文献号申请公布号CN114220414A

(43)申请公布日2022.03.22

(73)专利权人广州虎牙科技有限公司

地址511400广东省广州市番禺区钟村街

(汉溪商业中心)泽溪街13号1301

G10L25/30(2013.01)

(56)对比文件

CN

CN

CN

113380222

111133506

112802448

A,2021.09.10

A,2020.05.08

A,2021.05.14

审查员王胜

(72)发明人周阳

(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280

专利代理师李莉

(51)Int.CI.

G10L13/033(2013.01)

G10L25/03(2013.01)权利要求书2页说明书12页附图3页

(54)发明名称

语音合成方法以及相关装置、设备

(57)摘要

CN114220414B本申请公开了语音合成方法以及相关装置、设备，其中，语音合成方法包括：获取到目标对象的音素、音高以及音素时长；以及获取到待合成对象，确定待合成对象的梅尔谱，基于梅尔谱提取待合成对象的音色特征矩阵；通过语音合成模型对目标对象的音素、音高以及音素时长进行编码，通过语音合成模型得到编码数据；对音色特征矩阵以及编码数据进行解码，得到待合成对象的合成语音。上述方案，通过基于目标对象的音素、音高以及音素时长对待合成对象进行语音合成，能够在合成语音内基于目标对象的音素、音高以及音素时长并还原待合成对象的音色，从而

CN114220414B

获取到目标对象的音素、音高以及音素时长

获取到目标对象的音素、音高以及音素时长

获取到待合成对象，确定待合成对象的梅尔谱，基于梅尔谱提取待合成对象的音色特征矩阵

通过语音合成模型对目标对象的音素、音高以及音素时长进行编码，得到编码数据

通过语音合成模型对音色特征矩阵以及编码数据进行解码，得到待合成对象的合成语音

S11

S12

S13

S14

CN114220414B权利要求书1/2页

2

1.一种语音合成方法，其特征在于，所述语音合成方法包括：

获取到目标对象的音素、音高以及音素时长，所述目标对象为目标音频；以及

获取到待合成对象，确定所述待合成对象的梅尔谱，其中，对所述待合成对象进行分帧加窗以及傅里叶变换，得到待合成对象的时频域信号，取所述时频域信号的幅值，生成线性谱，将所述线性谱输入到梅尔滤波器组中进行滤波处理，得到所述梅尔谱；所述待合成对象为待合成音频；

基于所述梅尔谱提取所述待合成对象的音色特征矩阵；

通过语音合成模型对所述目标对象的音素、音高以及音素时长进行编码，得到编码数据；所述语音合成模型包括相互级联的编码器、注意力网络以及解码器；所述语音合成模型为去除了双向GRU模块的tacotron1模型，所述注意力网络内设置有基于位置的注意力机制；

通过所述语音合成模型对所述音色特征矩阵以及所述编码数据进行解码，得到所述待合成对象的合成语音。

2.根据权利要求1所述的语音合成方法，其特征在于，所述基于所述梅尔谱提取所述待合成对象的音色特征矩阵的步骤包括：

将所述梅尔谱输入到深度学习网络中，利用所述深度学习网络提取出所述待合成对象的音色特征矩阵。

3.根据权利要求1所述的语音合成方法，其特征在于，

所述通过语音合成模型对所述目标对象的音素、音高以及音素时长进行编码，得到编码数据的步骤包括：

通过所述语音合成模型中的编码器对所述目标对象的音素、音高以及音素时长进行编码，得到编码数据；

所述通过所述语音合成模型对所述音色特征矩阵以及所述编码数据进行解码，得到所述待合成对象的合成语音的步骤包括：

通过所述语音合成模型中的注意力网络以及解码器依次对所述音色特征矩阵以及所述编码数据进行解码，得到所述合成语音。

4.根据权利要求3所述的语音合成方法，其特征在于，

所述注意力网络包括基于位置的注意力机制。

5.根据权利要求3所述的语