CN113539299B 一种多媒体信息处理方法、装置、电子设备及存储介质 （腾讯科技（深圳）有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113539299B(45)授权公告日2025.07.15

(21)申请号202110036472.2

(22)申请日2021.01.12

(65)同一申请的已公布的文献号申请公布号CN113539299A

(43)申请公布日2021.10.22

(73)专利权人腾讯科技(深圳)有限公司

地址518000广东省深圳市南山区高新区

科技中一路腾讯大厦35层

(72)发明人常德丹

(74)专利代理机构北京派特恩知识产权代理有限公司11270

专利代理师赵翠萍张颖玲

(51)Int.CI.

G10L25/57(2013.01)

G1OL25/18(2013.01)

G10L25/30(2013.01)

GO6F16/55(2019.01)

GO6F16/65(2019.01)

(56)对比文件

CN108039176A,2018.05.15

CN112104892A,2020.12.18

CN112074903A,2020.12.11

CN110213670A,2019.09.06审查员双维芳

权利要求书3页说明书19页附图11页

(54)发明名称

多媒体信息处理装置客户端发送多娱体信息步骠401:多媒体信息处理装置获取国标多娱体信息，并对所述目标

多媒体信息处理装置

客户端发送多娱体信息

步骠401:多媒体信息处理装置获取国标多娱体信息，并对所述目标多媒体信息进行解析以实现分离出所远多媒体信息中所包括的国释

步骤402:多媒体信息处理装置对所述目标青频进行转换处理，形成与所迹自标音频的时城特征和频域特征相匹配的梅尔频谱图

步骤403:多媒体信息处理装置退过多媒体信息处理模型中的第一子

模型网络，基于与所述目标音频的时城特征和频域特征相匹配的梅

尔频语图，确定所述目标音频对应的第一音频特征向量

步碳404:多媒体信息处理装置获遇过多媒体信息处理模型中的第二

子模型网络，基于与所述目标音频的时城特征和频域特征相医配的

梅尔须谱图。确定所述目标音须对应的第二音须特征向量

步骤405:多媒体信息处理装置基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多螺体信息中的目标音频的类型

根据目标音频的类型分类处理

客户端

(57)摘要

本发明提供了一种多媒体信息处理方法、装置、电子设备以及存储介质，方法包括：对目标多媒体信息进行解析以实现分离出多媒体信息中所包括的目标音频；对目标音频进行转换处理，形成与目标音频的时域特征和频域特征相匹配的梅尔频谱图；通过多媒体信息处理模型中的第一子模型网络，基于与目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定目标音频对应的第一音频特征向量；通过多媒体信息处理模型中的第二子模型网络，确定所述目标音频对应的

CN113539299B第二音频特征向量；确定目标多媒体信息中的目标音频的类型，由此，可以目标多媒体信息中的目标音频的类型，减少人工审核的工作量，提升

CN113539299B

CN113539299B权利要求书1/3页

2

1.一种多媒体信息处理方法，其特征在于，所述方法包括：

获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述目标多媒体信息中所包括的目标音频；

对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图；

将所述梅尔频谱图转换为相对应的灰度图像；

根据所述灰度图像，通过多媒体信息处理模型中第一子模型网络的卷积神经网络，提取所述梅尔频谱图的特征向量；

基于所述梅尔频谱图的数量，确定所述第一子模型网络中的门控循环单元的通道数量；

根据所述目标音频的时域特征和频域特征，确定时间序列参数；

基于所述第一子模型网络中的门控循环单元通道数量和所述时间序列参数，确定所述第一子模型网络中的循环神经网络；

通过所述第一子模型网络中的循环神经网络确定所述目标音频对应的第一音频特征向量；

基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，通过所述多媒体信息处理模型中的第二子模型网络中的残差网络确定平均池化层网络的输出信息；

根据所述平均池化层网络的输出信息，对所述第二子模型网络中的图像分类网络的参数进行调整；

通过所述第二子模型网络中的图像分类网络，基于与所述目标音频的时域特征