视听语音分离方法、装置、电子设备以及存储介质.docxVIP

CN CN 116129929 AS10获取待处理的视频信息 116129929 A S10 获取待处理的视频信息 20 提取所述视频信息中的音频数据，以及 每个所述对象的影像数据 80 对所述音频数据进行特征提取得到听觉 特征，分别对每个所述影像数据进行特 征提取得到对应的视觉特征 S0 将目标对象对应的视觉特征与所述听觉 特征一同输入训练得到的语音分离网络 ,得到所述目标对象的目标听觉特征 50 根据所述目标听觉特征重建所述目标对 象的目标音频数据 (12)发明专利申请 (10)申请公布号 CN 116129929 A ( 4 3 ) 申 请 公 布 日2 0 2 3 . 0 5 . 1 6 (21)申请号 202211584453.4 (22)申请日 2022.12.09 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 胡晓林 李凯 苑克鑫 (74)专利代理机构 北京林达刘知识产权代理事 务所(普通合伙)11277 专利代理师 刘新宇 (51) Int.Cl. G06N G06N G06N G10L G10L G10L 3/045(2023.01) 3/0464(2023.01) 3/048(2023.01) 21/0308(2013.01) 25/03(2013.01) 25/30(2013.01) G10L 21/0272(2013.01) G06F 18/25 (2023.01) G06V 20/40 (2022.01) G06V 40/16 (2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) 权利要求书3页 说明书16页 附图7页 (54)发明名称 视听语音分离方法、装置、电子设备以及存 储介质 (57)摘要 本公开涉及一种视听语音分离方法、装置、 电子设备以及存储介质，通过对包括混合音频数 据以及至少一个对象的影像数据的视频信息进 行特征提取得到听觉特征，和每个影像数据对应 的视觉特征。将目标对象对应的视觉特征与听觉 特征一同输入语音分离网络，得到目标对象的目 标听觉特征以确定目标音频数据。其中，语音分 离网络包括处理视觉特征的视觉子网络、处理听 觉特征的听觉子网络和整合视觉子网络和听觉 子网络的输出特征多模态融合子网络。本公开通 过视觉子网络和听觉子网络分别处理视觉特征 和听觉特征，并通过多模态融合子网络对视觉特 征和听觉特征进行传递和整合，以基于视觉特征 和听觉特征准确的重建目标音频数据。 1/3页CN 116129929 A权 利 要 1/3页 CN 116129929 A 2 1.一种视听语音分离方法，其特征在于，所述方法包括： 获取待处理的视频信息，所述视频信息中包括混合音频数据以及至少一个对象的影像 数据； 提取所述视频信息中的混合音频数据，以及每个所述对象的影像数据； 对所述混合音频数据进行特征提取得到听觉特征，分别对每个所述影像数据进行特征 提取得到对应的视觉特征； 将目标对象对应的视觉特征与所述听觉特征一同输入训练得到的语音分离网络，得到 所述目标对象的目标听觉特征，所述语音分离网络包括视觉子网络、听觉子网络和多模态 融合子网络，所述视觉子网络用于处理输入的视觉特征，所述听觉子网络用于处理输入的 听觉特征，所述多模态融合子网络用于整合所述视觉子网络和所述听觉子网络的输出特 征； 根据所述目标听觉特征重建所述目标对象的目标音频数据。 2.根据权利要求1所述的方法，其特征在于，提取所述视频信息中的音频数据，以及每 个所述对象的影像数据，包括： 提取所述视频信息中的音频帧序列得到音频数据； 提取所述视频信息中所述至少一个对象的视频帧序列； 根据每个所述视频帧序列确定对应对象的影像数据。 3.根据权利要求2所述的方法，其特征在于，提取所述视频信息中所述至少一个对象的 视频帧序列，包括： 通过预先训练得到的人脸识别模型识别所述视频信息中每个所述视频帧中包括的至 少一个对象； 标记所述视频帧中每个所述对象的唇部区域； 根据相同对象在不同视频帧中的唇部区域确定对应的视频帧序列。 4.根据权利要求1所述的方法，其特征在于，对所述音频数据进行特征提取得到听觉特 征，分别对每个所述影像数据进行特征提取得到对应的视觉特征，包括： 通过滤波器组对所述音频数据进行特征提取，得到听觉特征； 根据预先训练的唇读模型分别对每个所述影像数据进行特征提取，得到对应对象的视 觉特征。 5.根据权利要求4所述的方法，其特征在于，所述唇读模型包括用于进行特征提取的骨 干网络。 6.根据权利要求1所述的方法，其特征在于，将目标对象对应的视觉特征与所述听觉特 征一同输入训练得到的语音分离网络，得到所述目标对象的目标