1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于多模态融合的视频常识性知识推理实现方法.pdfVIP

  • 5
  • 0
  • 约1.96万字
  • 约 11页
  • 2023-07-07 发布于四川
  • 举报

一种基于多模态融合的视频常识性知识推理实现方法.pdf

    本发明公开了一种基于多模态融合的视频常识性知识推理实现方法，其步骤包括：1)对输入视频分别提取帧内空间特征Vi、帧间时序特征Vt以及声音特征Vs；2)将帧内空间特征Vi、帧间时序特征Vt以及声音特征Vs进行融合，得到该输入视频的多模态的视频特征VE；3)对该输入视频的描述性文本进行特征抽取，得到语言特征Ccap，并将视频特征VE和语言特征Ccap进行融合，得到上下文特征[VE，Ccap]；4)将所述上下文特征[VE，Ccap]输入常识推理解码器得到答案的概率分布，然后根据所得答案的概率分布预测该

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113869324 A (43)申请公布日 2021.12.31 (21)申请号 202110954600.1 (22)申请日 2021.08.1

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >