一种视频掩码自编码方法及系统.pdfVIP

  • 6
  • 0
  • 约2.19万字
  • 约 16页
  • 2023-07-01 发布于四川
  • 举报
本发明涉及视频学习技术领域,提出一种视频掩码自编码方法及系统。该方法在预训练阶段基于双重掩码策略对编码器和解码器进行掩码,包括:使用立方嵌入处理输入视频生成视频块;基于管道掩码策略生成第一掩码图Me,由编码器根据所述第一掩码图Me确定可见的视频块以及不可见的视频块,并且提取部分可见的视频块的特征;以及基于运动单元掩码策略生成第二掩码图Md,由解码器根据所述第二掩码图Md重建部分不可见的视频块的特征。本发明基于上述双重掩码策略进行预训练,可以在保持模型性能的条件下,降低预训练开销,进而可以有效节省

(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116363560 A (43)申请公布日 2023.06.30 (21)申请号 202310294674.6 G06V 10/774 (2022.01)

文档评论(0)

1亿VIP精品文档

相关文档