一种用于视频多行为识别的多模态联合学习方法.pdfVIP

  • 2
  • 0
  • 约2.53万字
  • 约 20页
  • 2023-07-05 发布于四川
  • 举报

一种用于视频多行为识别的多模态联合学习方法.pdf

本发明涉及多行为视频识别技术领域,具体公开了一种用于视频多行为识别的多模态联合学习方法,包括步骤:S1、构建多模态联合学习网络,其包括视觉模态学习模块、音频模态学习网络和文本模态学习网络;S2、对原始视频数据集进行预处理,得到对应的视觉帧数据集、音频行为特征词典和文本行为特征词典;S3、将视觉帧数据集输入视觉模态学习模块、将音频行为特征词典输入音频模态学习网络、将文本行为特征词典输入文本模态学习网络进行联合训练,以输出联合视觉、音频和文本三种模态的多模态联合行为预测。消融研究、多行为关系可视化和

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113807307 A (43)申请公布日 2021.12.17 (21)申请号 202111143894.6 G06F 40/284 (2020.01) (22)申请日

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档