原创力文档- 1、本文档共16页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利说明书
(10)申请公布号CN114218439A
(43)申请公布日2022.03.22
(21)申请号CN202111553547.0
(22)申请日2021.12.17
(71)申请人中山大学
地址510275广东省广州市海珠区新港西路135号
(72)发明人余伟江卢宇彤李孟非陈志广
(74)专利代理机构44367深圳市创富知识产权代理有限公司
代理人高冰
(51)Int.CI
G06F16/783
G06F16/78
G06F16/75
G06F16/71
G06F16/332
G06V20/40
G06V10/764
G06K9/62
G06N5/04
权利要求说明书说明书幅图
(54)发明名称
一种基于自驱动孪生采样和推理的
视频问答方法
(57)摘要
本发明公开了一种基于自驱动孪生
采样和推理的视频问答方法，所述方法包
括视频段采样、特征提取与推理策略，其
中，所述视频段采样通过稀疏采样得到基
准视频段以及通过孪生采样获得孪生视频
段；所述特征提取通过一视频编码器，一
文本编码器和一多模态将多个视频段‑文
本对编码成相应的语义特征表示；所述推
理策略通过使用孪生知识生成模块为视频
段生成提炼后的知识标签，并使用孪生知
识推理模块将这个标签传播给其所有孪生
样本并进行融合。本发明有益效果在于，
提出了此基于自驱动孪生采样和推理的框
架，并将其用于提取相同视频的不同视频
段中的上下文语义信息，用于增强网络的
学习效果。
法律状态
法律状态公告日法律状态信息法律状态
2022-03-22公开发明专利申请公布
实质审查的生效IPC(主分
类):G06F16/783专利申请
2022-04-08实质审查的生效
号:2021115535470申请
日
权利要求说明书
1.一种基于自驱动孪生采样和推理的视频问答方法,其特征在于,所述方法包括视频
段采样、特征提取与推理策略,其中,所述视频段采样通过稀疏采样得到基准视频段
以及通过孪生采样获得孪生视频段;所述特征提取通过一视频编码器,一文本编码器
和一多模态将多个视频段-文本对编码成相应的语义特征表示;所述推理策略通过使
用孪生知识生成模块为视频段生成提炼后的知识标签,并使用孪生知识推理模块将
这个标签传播给其所有孪生样本并进行融合。
2.根据权利要求1所述的基于自驱动孪生采样和推理的视频问答方法,其特征在于,
在所述视频段采样中,分别使用稀疏采样和孪生采样获得基准段和孪生段,并使用特
征提取模型分别提取出这些视频段的特征;在所述特征提取中,用孪生知识生成模块,
根据基准段和孪生段的特征,计算出视频内部的上下文特征;在所述推理策略中,使用
孪生知识推理模块,根据所述上下文特征,自适应地为视频段生成提炼后的软标签。
3.根据权利要求1或2所述的基于自驱动孪生采样和推理的视频问答方法,其特征在
于,所述孪生采样包括通过对视频样本F进行稀疏采样得到长度为B帧的视频段样
本;其中,F的长度大于B;以随机的方式
文档评论（0）