人体行为分析报告.pptVIP

* 报告人:郭萍 目录 基于视频内容理解的人体行为识别 单人行为分类 (single person activity classification) 多人交互行为分类 (multi-person activity classification ) 行为检测和定位 (action detection and localization) * 1. 单人行为分类 视频中只有一个人 or 有多个人但是每个人可以被很好的检测和跟踪 * 人体区域确定 特征提取 分类 训练 1. 单人行为分类 人体区域确定 人体检测： GMM建模背景剪除 HOG+SVM行人检测 人体跟踪：卡尔曼滤波，粒子滤波 * 1. 单人行为分类 特征提取 静态：形状特征 动态：运动特征 * Shape context Motion history image Optical flow 边缘梯度直方图 STIP PCA，Hu矩 …… 1. 单人行为分类 训练和分类 SVM, k-NN, DTW, 距离函数,HMM，pLSA…… 举例：BOW+PLSA * 1. 单人行为分类举例：BOW+pLSA 特征提取 兴趣点选取：光流的局部极大值 * 1. 单人行为分类举例：BOW+pLSA 词库组建 HOG+HOF 特征向量 K-Means 聚类 * 1. 单人行为分类举例：BOW+PLSA 行为建模:pLSA * 最大化 1. 单人行为分类举例：BOW+pLSA 参数训练： EM E步： M步： * 1. 单人行为分类举例：BOW+pLSA 行为分类 * 2.多人交互行为分类 * 2.多人交互行为分类 特征提取 全局特征：轨迹的速度，方向 局部特征：运动剧烈程度，轮廓形状 行为建模和分类 HMM * 人体检测和跟踪 特征提取 分类 训练 2.多人交互行为分类 HMM简介 双重随机过程 3个问题 * Markov链 （?, A） 随机过程 （B） 状态序列 观察值序列 q1, q2, ..., qT o1, o2, ..., oT 2.多人交互行为分类 HMM简介 语音识别,人脸识别,行为识别 …… * s2 s3 s4 s1 o1 o2 o3 o4 站立，迈步，…… 2.多人交互行为分类 * 训练： 识别： 3.行为检测和定位 * Query action: Hand-waving Output: x, y, t, s 3.行为检测和定位 与行为分类的核心区别 需要在视频空间中进行搜索 设测试视频的大小为WHT,则穷举法搜索的复杂度为O(W^2 H^2 T^2) 解决方法 单一尺度，降采样，金字塔 Branch and bound (精度不下降) * 3.行为检测和定位 Branch and bound 图像：object localization 视频：action localization * 3.行为检测和定位 * 3.行为检测和定位 搜索时间（320*240 image） 穷举法：几分钟 Branch and bround 论文中：40 ms 实测：400 ms 视频：1h:20h 其他 Cvpr2011: 随机森林 * 谢谢！ * * *