基于视频的人体运动捕捉23657.pptVIP

基于视频的人体运动捕捉video-based human motion capture 2005-11-10 提纲 研究背景及意义 研究现状 结合运动模型和多种测量的人体运动跟踪 总结 1.1 研究背景 在竞技体育运动中，对运动员的动作进行定量的运动分析是提高训练水平的重要科学手段 自动描绘出运动员的重心轨迹和动作线条图，获得技术动作的基本生物力学参数。 1.2 研究意义 定义 从一个或多个已同步视角的图像序列中恢复出人体姿态参数(如关节角度、关节点位置等)的过程 1.2 研究意义（续） 广泛的应用需求 智能监控：gait recognition、 elder care、 abnormal behavior detection 人机交互：posture recognition gesture recognition 运动分析：sports and rehabilitation medicine 虚拟现实：video game、teleconferencing 动画和影视制作 视频标注和检索 1.3 研究意义（续） 重要的学术价值 涉及到计算机视觉中的许多基本问题 如运动检测和分割、目标定位和识别、刚体和非刚体跟踪、场景恢复与表示、多摄像机数据融合等 融合了图像处理、计算机图形学、人体运动学、最优化和机器学习等多学科的理论，是很具挑战性的研究工作 研究热点 IJCV 、PAMI 、CVPR、ICCV 2.研究现状 难点问题 主要方法 典型系统 2.1 难点问题 最早的工作 J. O’Rourke and N. I. Badler, Model-based image analysis of human motion using constraint ropagation, IEEE Transactions on PAMI,1980, 2(6): 522-536 D. Hogg, Model-based vision: A program to see a walking person, Image and Vision Computing, 1983,1(1): 5-20 鲁棒性、准确性、速度 2.1 难点问题（续） 2.2 主要方法 自顶向下（Top-down） 自底向上（Bottom-up） 自顶向下与自底向上相结合（ Top-down / Bottom-up ） 2.2.1 Top-down Model-based Human Body Tracking 预测—匹配—修正 使用各种约束和先验知识，处理遮挡 2.2.1 Top-down（cont’d） 自顶向下的基于模型的人体运动跟踪处理框架 优化方法 局部优化法:梯度法、动力学法、局部搜索 概率搜索法：Kalman滤波、粒子滤波 2.2.1 Top-down（cont’d） 2.2 Bottom-up 形状分析 识别法 概率推理 2.2.1形状分析法 通过启发式知识，对轮廓/骨架等特征进行分析，得到身体主要关节点/特征点 形状分解 2.2.2 识别法 模板匹配 运动库检索 函数影射 通过训练数据建立底层特征与姿态参数的映射关系 映射方法：NN，SVM，RVM，Bayesian、HMM 2.2.3 概率推率法 身体部分的检测 人脸检测、肤色区域检测、矩形拟合、基于模板的肢体检测等 人体结构配置的推理 通过贝叶斯推理求解满足约束的最大后验概率 推理方法：DP，BP，MCMC，MFMC 2.2.3 概率推率法（续） 2.3 Top-down/Bottom-up Top-down 优点：可使用各种约束和先验知识，处理遮挡；跟踪结果精确 缺点：需要初始化，跟踪失败；速度慢 Bottom-up 优点：不需要初始化，速度快 缺点：结果不够精确，难于处理遮挡问题 2.3 Top-down/Bottom-up(cont’d) 函数映射和基于模型的跟踪相结合 关键帧匹配和基于模型的跟踪相结合 困难在于如何结合 2.4 典型系统 3.结合运动模型和多种测量的人体运动跟踪 目的 在首帧初始化后通过自动跟踪获得人体主要关节点运动参数，用于运动分析。 方法 Model-based Tracking Human body model Dynamical model Observation model Particle filtering 3.结合运动模型和多种测量的人体运动跟踪(续) Human body model 2D SPM模型 包含关节角度和肢体长度变化因子 Dynamical model 由前面已知的状态预测当前状态 二