《人体行为识别概述.ppt

人体行为识别概述 行为识别现状 VSAM(Visual Surveillance and Monitoring) 1997 IVPL实验室(The Image and Video Processing Laboratory) AIRVL实验室(Artificial Intelligence，Robotics，and Vision Laboratory) LPAC实验室(Laboratory for Perception，Action and Cognition) KNIGHT系统 ISCAPs(Integrated Surveillance of Crowded Areas for Public Security) REASON(Robust Methods for Monitoring and Understanding People in Public spaces) CANTATA(Content Aware Networked systems Towards Advanced and TailoredAssistance) 中国科学院自动化所的生物识别与安全技术研究中心CBSR 微软亚洲研究院 行为识别前景 high-level video indexing and retrieval “smart” video surveillance systems 自动检测异常行为，辅助检索一个特定的事件。 The analysis of sport videos 帮助教练进行战略分析。识别不同的游泳风格。 Hand gesture recognition 虚拟现实 Human-Computer Interaction (HCI) systems kidsRoom、Smart room 、Facial action用于分析精神病病人的情感行为。 robotics medical area 辅助诊断病人的运动问题。另一个是对老年人提供远程协助。 行为识别的流程 行为识别的流程 目录 运动目标检测 目标检测——时间差分法 在连续的图像序列中两幅或三幅相邻帧之间采用基于像素的时间差分，并对差分结果进行阈值化处理以提取图像中的前景运动区域。 缺点： 前景、背景区域的确定与阈值的选取有很大的关系 当灰度图像序列对比度较低时，由于相邻两帧的差(前景与背景之差)的范围很小，阈值难以选取，影响前景目标的分割结果。 区域灰度值变化较为平坦时，容易在人体二值图像内产生空洞现象，给后续的目标分类、跟踪和识别造成不便。 优点： 对于动态环境有较强的自适应性 目标检测——光流法 基于光流法的运动检测，是利用运动物体随时间变化在图像中表现的光流特性，通过计算位移向量光流场来提取运动目标。 光流是空间运动物体在观测成像面上对应像素运动的瞬时速度，是空间物体可见点的三维速度矢量在成像平面上的投影，它携带了丰富的运动和结构信息。 优点： 即使在摄像机运动的情况下也能检测出独立的运动目标。 缺点： 由于噪声、多光源、阴影和遮挡等原因，计算出的光流场分布并不十分可靠和准确。 多数光流法计算复杂、耗时，在实际的系统中没有特殊的硬件支持时，很难实现实时检测。 目标检测——背景减除法 最常用且有效的是背景减除法。 背景减除法最简单的实现方法是预先选取不含前景运动目标的背景图像，然后将当前图像帧与背景图像相减得到前景目标。 背景减除法通常在摄像机固定的情况下使用，关键是建立随场景变化不断更新的背景模型。 有两类常用的背景更新方法: 1、建立背景模型并采用自适应方法对模型参数进行调整，从而获得新背景图像; 2、从过去的一组观测图像中按一定的假设选择像素值构成当前背景图像。 目标分类 人体描述 运动跟踪 四种跟踪方法的比较 运动目标的特征 运动表征 行为识别 人的行为理解与描述是指对人的运动模式进行分析和识别, 并用自然语言等加以描述. 可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配. 行为理解的关键问题是如何从学习样本中获取参考行为序列, 并且学习和匹配的行为序列能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化. 行为识别方法 基于模板匹配的方法 首先将图像序列转换成一组静态形状模式 然后在识别过程中用输入图像序列提取的特征与在训练阶段预先存储的动作行为模板进行相似度比较，在比较数据可以有轻微变化下识别人体行为。 基于模板匹配的方法之DTW DTW（dynamic time warping）——动态时间规整 DTW是一种时变数据序列匹配方法 DTW 优点：概念简单、算法鲁棒，能够对图像序列进行分类。 DTW缺点：算法计算