动作识别与行为理解综述中.doc

动作识别与行为理解综述 徐光祐 曹媛媛 普适计算教育部重点实验室 清华大学计算机科学与技术系 北京，100084） 摘 要 随着“以人为中心计算”的兴起和生活中不断涌现的新应用，动作识别和行为理解逐渐成为计算机视觉领域的研究热点。本文主要从视觉处理的角度分析了动作识别和行为理解的研究现状，从行为的定义和表示、运动特征的提取和动作表示以及行为理解的推理方法三个方面对目前的工作做了分析和比较。并且指出了目前这些工作面临的难题和今后的研究方向。 关键词 以人为中心 动作识别 行为理解 中图法分类号：TP391 文献标识码：A Action Recognition and Activity Understanding: A Review XU Guangyou, CAO Yuanyuan (Key Lab of Pervasive Computing, Ministry of Education, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China) Abstract As the “Human-centered computing” is getting more and more popular and novel applications are coming up, action recognition and activity understanding are attracting researchers’ attention in the field of computer vision. In this paper, we give a review of the state in art of work on action and activity analysis, but focus on three parts: Definition of activity, low-level motion features extraction and action representation, and reasoning method for activity understanding. Furthermore, open problems for future research and potential directions are discussed. Keywords human-centered computing, action recognition, activity understanding 引言 计算正渗透和影响到人们生活的各个方面，根据传感器数据来识别和理解人的动作和行为就成为未来”以人为中心的计算”(Human-centered computing)中的关键[1]。其中基于视觉的动作识别和行为理解尤为重要。因为在人之间的人际（interpersonal）交互过程中，视觉是最重要的信息。视觉可以帮助人们迅速获得一些关键特征和事实，如对方的表情、手势、体态和关注点等，这些视觉线索综合起来反映了对方的态度，潜在意图和情绪等信息。未来人机交互和监控中，机器要感知人的意图很大程度上就需要依靠视觉系统。此外，视觉传感器体积小、被动性和非接触式的特点，使得视觉传感器和视觉信息系统具备了无所不在的前提。近年来，在对计算机视觉提出的层出不穷的新要求中，行为理解是一个具有挑战性的新课题，在诸如智能家居，老年人看护，智能会议室等应用中都起着至关重要的作用。它要解决的问题是根据来自传感器（摄像机）的原始图像（包括图像序列）数据，通过视觉信息的处理和分析，识别人体的动作，并在上下镜(context)信息的指导下，理解人体动作的目的、所传递的语义信息。行为理解作为近几年开始兴起的研究，正在逐渐获得越来越多的关注。 人体检测、定位以及人体的重要部分（头部，手等）的检测，识别和跟踪是人体行为理解的基础，在解决这些基本问题的基础上，更重要也更困难的问题就是动作识别和行为理解。对动作识别的研究可以追溯到90年代，在2002年，相关研究的论文数量经历了一个飞跃式的增长，这些研究大多假设是在结构化（structured）环境和孤立动作条件下。所谓的结构化环境就是预先设定和可人为控制的环境，例如，用于计算机输入的手势识别等，这时视觉数据采集的光照，视角，距离等因素都是固定或已知的。这就为改善视觉处理的脆弱性提供了有利条件。但与此同时，也带来了很大的局限性。例如，基于生理特征的生物特征识别，目前的方法只适合于愿意在规定环境下给予系统配合的合作对象。与此相