王田——计算机视觉动态手势识别研究综述.doc

计算机视觉动态手势识别研究综述 张国亮，王展妮，王田 华侨大学计算机学院厦门361021 摘 要:手势识别是新一代人机交互不可缺少的一项关键技术，而以计算机视觉为基础的动态手势识别更是该领域内一个富有挑战性的研究方向，它在虚拟环境交互、远程医疗、机器人遥操作等方面具有广泛的应用前景。本文综述了近年来计算机视觉动态手势识别技术的研究现状，指出了存在的不足和有待进一步研究的问题，展望了该领域未来的发展趋势。 关键词：人机交互;手势识别;计算机视觉；手势模型;隐马尔可夫模型: A Survey on dynamic hand gesture recognition with computer vision ZhANG Guoliang, WANG Zhanni, WANG Tian (Computer institute, Huaqiao University，Xiamen 361021) Abstract：Hand gesture recognition is one of the important technologies in next generation of human computer interaction. Furthermore, dynamic hand gesture recognition with computer vision is a challenging research topic in this field, which has many promising applications such as virtual environment interaction, telesurgery and teleoperation. The paper surveyed these dynamic hand gesture recognition methods with computer vision in last several years. Existing problems, issues of future research and technology development trends are investigated. Keywords: Human computer interaction; hand gesture recognition; computer vision; gesture modeling; HMM 近年来，随着计算机视觉和机器学习等相关学科的发展，人机交互技术HCI（Human Computer Interaction）正逐渐从以“计算机为中心”向“以人为中心”转移，相对于传统的二维图形用户界面，以人体自身直接作为交流平台的自然用户界面为操作者提供了更为直观、舒适的交互体验，大量的相关研究为此展开，如人脸识别、手势识别、凝视跟踪以及体势识别等等。在这些自然输入信息中，手势具有直观性、自然性和丰富性的特点，与之密切相关的手势识别成为近年来自然交互领域研究的热点问题。 目前，手势识别可分为基于传感器信息的接触式和基于视觉的非接触式两类。接触式方法利用数据手套等设备，直接获得手势在空间的三维位姿信息，具有测量直接精确、可实时识别手势种类多的优点，但操作者必须穿戴数据手套，一定程度上削弱了人机交互的自然性和灵活性，当更换操作者后，必须重新进行繁琐的标定过程。与之相比，基于视觉的徒手手势识别能够使操作者以更加自然的方式进行人机交互。但是，由于人手柔性形变及视觉信息不稳定性，其研究仍然面临许多挑战性课题，如手势差异性影响、复杂背景手势分割、遮挡及高维数据降维等。针对这些技术问题，研究者提出了大量的解决方案，相关的文献研究也不断涌现，如文献[1]对2007年以前的研究工作进行了分析和总结，文献[2]从手势分割和手势识别两个个方面重点分析了最新的研究进展。但是，上述这些研究主要集中在手势的鲁棒性分割与识别方面，并不能全面体现该领域相关技术的最新进展。为此，本文系统分析了国内外该领域研究工作的最新进展，对当前亟需解决的问题做了详细的分析，展望了视觉动态手势识别未来的发展方向。 1 动态手势识别系统框架模型 基于计算机视觉的手势识别系统模型如图1所示。首先，输入图像经手势分割分离定位出动态手势，然后，根据应用需求选择手势模型进行手势分析，并依据模型提取手势特征参数。最后，根据模型参数对手势进行分类，生成指定应用的手势描述。 图1 基于视觉的手势识别系统模型 2 手势分割 手势分割是手势识别基础和前提，其分割的结果将对后续的识别带来直接的影响。在现有的研究成果中，没有一种具有普适性的分割方法。依据选择策略的不同，目前主要有基于肤色的分割、基于运动分割以及多模式分