多模态机器学习 课件 第5章视频特征.pptx

MultimodalMachineLearning视频特征

多模态机器学习2视频由连续图像帧构成，同时包含静态外观与动态运动。视频分类、字幕生成、视频问答等任务，都依赖准确的视频特征。目前主要包括三类方法：手工特征提取、神经网络特征提取和预训练模型特征提取。视频本身是多模态信息的结合体，不仅包含图像和声音，还包含深度、动作等其他模态信息。为什么要学习视频特征

多模态机器学习3手工设计的视频特征：从时空兴趣点、轨迹和梯度中描述动作。基于神经网络的视频特征：以双流网络和三维卷积自动学习表示。基于预训练模型的视频特征：借助大规模预训练迁移空间与时间知识。其他模态的视频特征：利用骨架、深度、点云、