运动表述 - Robot Vision Group.PDFVIP

运动表述 董秋雷 中国科学院自动化研究所 qldong@ 运动表述 运动检测 • 运动分析框图 目标分类 跟踪 运动表述 识别与理解 运动表述 • 什么是运动表述 (Motion representation)？ –刻画运动前景的运动模式。 • 运动检测的重要性，为什么要进行运动表述： –是运动分析中的中间步骤，是行为理解等高层部 分的基础。 运动表述 • 常规的运动表述方法： –运动轨迹； –时空图表述； –光流。 运动轨迹 • 运动轨迹：通过物体跟踪，可以得到物体特征 点的轨迹。 • 能否正确表述物体运动状态的关键： –特征点的选取； –轨迹的描述。 人的运动 车辆的运动 运动轨迹 • 特征点： –前景的质心、最高点、最低点等； –最小包围框的中心等； –其它图象关键点。 运动前景 最小包围框 头和脚的特征点 手的质心 运动轨迹 • 怎样通过特征点集合描述运动轨迹？ 1. 直接按照时间顺序连接相邻帧之间的特征 点。 2. 将特征点集合拟合成不同的多项式曲线。 3. 其它方法（如主曲线）。 运动轨迹 1. 直接按照时间顺序连接相邻帧之间的特征点。 运动轨迹 将视频序列中双手和头的质心分别拟合得到的二次曲线 运动轨迹 3. 主曲线[1,2]： 一条空间曲线，从数据的中部光滑地通过，且不 限制于对数据的光滑线性平均，甚至不限制于数据的 中部是直线，只使得数据点集合到该曲线的正交距离 最小 。 第一主成分线 主曲线 将视频序列中双手和头的质心 一段视频序列中特征点集的主曲线 分别拟合得到的二次曲线 运动轨迹 • 运动轨迹的应用场合： –交通监控，表述车辆、行人行动路线； –动作、手势识别，表述运动物体或肢体局部的简单 运动。 –人机接口。 • 运动轨迹的不足： –只能粗略地表述物体全局的运动信息； –无法描述运动细节； –没有有效地体现时间信息。 运动检测 • 常规的运动表述方法： –运动轨迹； –时空图表述； –光流表述。 时空图表述 • 原理：将图像序列的前景运动信息和时间 信息用一张图表述出来。 –运动能量图