多模态机器学习 课件 第9章多模态人类行为识别.pptx

MultimodalMachineLearning多模态人类行为识别

多模态机器学习2人类行为识别（HAR）判断视频或传感器序列中正在发生的动作应用范围：健康监测、智能监控、虚拟现实和人机交互单模态局限：RGB视频容易受到遮挡、光照变化和视角变化影响互补信息：深度提供三维形状，骨架描述姿态，音频和惯性数据补充运动线索多模态目标：通过信息融合或知识迁移，提高动作识别的准确性与鲁棒性Ch.9人类行为识别为何需要多模态

MultimodalMachineLearning多模态机器学习3多模态HAR方法归纳为两条主要技术路线：融合学习：训练和测试阶段都整合多种模态，共同完成动作预测协同学习：