基于双目视觉的虚拟手的实现研究.pdfVIP

64 计算机技术与应用进展·2006 基于双目视觉的虚拟手的实现+ 张静李琳刘晓平 台肥工业大学计算机与信息学院VCC研究室合肥230009 摘要：随着虚拟现实技术的不断发展和成熟，人们开始利用人手与虚拟环境进行自然交互。但是 对手的跟踪比较复杂，因为手是一个高自由度的关节结构。本文在分析手的运动学模型以及总结手运 动约束关系的基础上，利用双目立体视觉系统，通过识别在手上设置的关键点位置，结合设计的简化 计算模型，推算出手指的运动位置，从而在虚拟环境中再现手的姿态。该方法降低了对硬件的要求， 计算模型的简化能够提高识别的速度，在与虚拟现实环境的交互中得到了较好的应用。 关键阀：虚拟现实双目立体视觉运动约束虚拟手 1引 言 随着虚拟现实技术的不断发展和成熟，人机交互在虚拟现实中的作用显得越来越重要。现在，人们已 经不能满足于常见的鼠标键盘交互，因为无法直接将自己的意图表达在应用环境中。如果使用手与计算机 虚拟环境进行交互，将日常生活中获得的经验技能直接运用到交互活动中，别大大提高了计算机的可操作 性11J。在虚拟现实技术中，数据手套是现实中的手与计算机交互的重要设备。虽然数据手套能够实时获得手 的运动，但是它价格昂贵，需要校准，而且它带有一些附属的测量设备，使得数据手套存在沉重、运动不 灵活等缺点。而利用摄像头拍摄的方法来获取手的运动，不需要数据手套和那些限制运动的额外设备，通 过计算机视觉技术实现虚拟手与虚拟环境的交互。 2背景介绍 2．1相关工作 对于手的跟踪是比较复杂的，因为手是一个高自由度的关节结构。目前这类问题的解决方法分为两种： 一种是利用数据手套“J，通过感知器；另一种是利用计算机视觉技术。虽然前者能够实时处理数据，并且能 给出精确的信息，但是它对用户造成了负担，它的附属设备限制了人的自由运动。相反，后者由于是被动 感知。适合于手的跟踪。 文献【3】是通过将手的图像与模型相匹配，算法要求手固定在预知的位置，其使用的图像是一系列普通 的灰度图。文献【4】基于光学跟踪方法，提出了一种计算模型，通过识别手上设置的反光材料标志来推算手 形，但该方法只使用了一个摄像头，在某些情况下会发生遮挡现象。文献【5】介绍了一种基于单目视觉的手 势识别系统，主要采用RGB颜色空间，并结合一个皮肤过滤器来提取手势区域。本文通过分析手的运动学 模型，用两台摄像头从不同的角度采取手的图像，将手运动的约束关系应用到模型中，并且简化了手指弯 曲角度的计算模型，从而得到虚拟手的姿态。 +基金项目：本项目得到国家自然基金，合肥工业大学学生创新基金(xs05003)支持 研究方向为CAD／CG；刘晓平(1964一)，男，山东济南人，教授，博导，研究方向为建模、仿真与协同计算。 基于双目视觉的虚拟手的实现 65 2．2手的运动约束关系 本文利用摄像买采集手的图像，通过计算图像中标记的几个关键点的三维空间位置，来得到手的最终 形状。那么如何用这几个有限的关键点，计算出手所有关节的弯曲角度，这就需要考虑到手在运动中的约 束关系。 首先，需要区别被动行为和主动行为，前者的运动有外力的参与，但后者只是受腱和肌肉的影响。关 节在被动行为下，运动的幅度比较大。而我们仅考虑手的主动行为。在此前提下，总结出的具体约束如下： 0。≤P知(无名指)≤4。，0。≤9知(，J、拇指)≤14。。 此外，还有一个较为重要的约束，就是在主动行为中DIP和PIP两个关节存在着依赖关系。解剖学研 究表明，二者之间几乎成线性关系，即：—知(力=(2／3)9玉(力。为了简化计算，本文将％c尸(力也定 为％，(的2／3。这样，只要能算出一个关节的弯曲角度，就可以推算出其它两个关节的弯曲角度。 3实验原理 3．1实验环境和实验原理 本文的实验环境是用两个摄像头采集手的图像，由图像采集卡进行模数转换，并将标记的关键点颜色 信号转化成由RGB表示的像索信号输入计算机。本文采用一只白色手