基于立体视觉的自然手势识别.pdfVIP

基于立体视觉的自然手势识别 张凯葛文兵汪国平 董士海 北京火学信息科学技术学院人机交互与多媒体实验室，北京，10087 摘要：本文提出了一种基于立体视觉的自然手势识别方法。本文方法有如下特点：(t)无穿 f 戴自然手势交互，在满足平面近似的奈件下，可任意扩充手势语义i ii)模板库小，仅仅需要 存储每种手势的正面图像，使于高效匹配；(iii)提出了一种新的立体匹配算法，将手势的视 差图简化为平面，用以快速获取手势和手臂的三维信息：(iv)可自动调整相机位置，得到手 势的正西图像，用于模板匹配。实验结果表明，本文算法对各种朝向的手势都有着良好的支持， 识别率高，强壮性好。 关键词：手势识别；立体匹配视差 1．引言 在自然交互领域，手势识别一直都是研究的热点。作为一种通用的基础算法，手势识 别广泛应爿j于交互游戏、三维设计，机器人研究等多个领域。利用数据手套，人俐可以获 得精确的手势数据”J。但是，这类方法在交互上不自然的缺点是显而易见的，因此，在对 精度要求并不十分严格的情况下，无穿戴的视觉方法更受青睐，这也是现在手势识别技术 的主要研究方向。目前，手势识别算法分为两大类：基于模型的识别和基于列像的识别。 基丁二模型的方法利用多相机重建手势的三维信息，将重建后的体数据与给定的三维模型相 匹配。这类算法精度高，但是计算代价昂贵，且稳定性差”。1。基于图像的方法利用多个角 度的手势图像作为模板，并插值生成模板库中没有的手势图像。由于无法控制手势的朝向， 这类算法往往需要庞大冗余的模板库，为手势匹配增加了不必要的开销，当光线条件不理 想刚，也筚≠易得到错误的匹配旷…。 在计算机视觉领域，立体匹配在近十年来也一直都是研究的热点问题。给定一对水平 校准的立体图像，对场景中任一空间点JP，考虑其在左右图中的映像P和口。因为图像是 校准的，山对极几何可知，P和q都在同一条水平扫描线上，它们之间的位置差值称为视 筹(disparity)。立体匹配以立体图像中的某一幅图(通常是左图)为参考图，确定每一点 的视差及遮挡关系，并得到场景视差刚(disparitymap)。由几何关系町推知，视差和景物 深度成反比”…“J，求得视差之后，可以很方便的得到物体的深度信息，并重建三维模 型。基于Graph—cut和信度扩散(beliefpropagation)的立体匹配算法可以达到相当高的精 度Ljl”J，但这类算泫效率1；高，不适合实时交互的需要。 本文结合前述两类手势识别技术的优点，利用立体视觉的方法求得于势的正面图像， No No 资助项日·型家蓖点基础研究笈展训l 2004CB719403、围家高技术研究茬展计划项H2004AAll5120、自然科学 基金项口N Dkuedu廿1 联系作者：张凯，E-mail：zk@graphics Ⅲ交互系统 521 然后与预定义的模板进行匹配，从而确定语义。本文算法基于砖个假设。第一个是关于手 势的“平面性假设”。我们注意到，由于手部纹理的近似性，我们可以安全的忽略手势的自 遮挡现象，将手势的视差图简化为平面。实际上，这一个假设对于大多数手势都是满足的。 第二个假设是手势和手臂的“共面假设”，即假定在手势运动过程中，手势和手臂基本处于 同一个平面。如果我们能得到手势平面的参数和手臂的朝向信息，就能对相机位置进行刚 体变换，求得手势的正面图像。 本文的后续部分如下组织：第二节介绍算法的预处理过程；第三、四节是本文的重点 部分，首先介绍以场景平面模拟手势的立体匹配算法，然后依据得到的手势和手臂的三维 信息，调整相机位置，求得手势正面图像，进行语义判定；最后讨论实验结果并进行小结。 2．预处理 算法的预处理过程包括三部分。首先，我们需要定义不同的手势，用以表达不同的语 义。我们对每个手势正面拍照，使相机主平面与手掌平面平行，相机主平面的y轴方向和 手臂方向平行，相机光心与手势质心的连线与相机主轴重合。对每一个手势照片，求得其 外接矩形，并将此矩形缩放至一定大小(譬如，64x