基于LeapMotion关键点模型的沙画手提出一种基于LeapMotion采集设备的关键点模型全解.docVIP

基于Leap Motion关键点模型的沙画手势识别 摘要：提出一种基于Leap Motion采集设备的关键点模型的沙画手法虚拟仿真方法。首先，利用Leap Motion获取手势信息数据并设计计算算法获取人手关键点的空间位置；然后，设计算法并利用计算出来的空间位置获取沙画手法中铺沙，捏沙这两个基础手法在运动过程中的相关数据；最后，获取的时刻变化数值波形图。实验证明，通过该方法可实现对手部运动准确的模拟，为进行人机交互的沙画模拟奠定了基础。 关键词：Leap Motion； 关键点模型；沙画手法 虚拟操作人机交互过程中，采用计算机视觉获取人手信息在交互的自然性与成本上有巨大优势，是未来发展的主要趋势。在基于视觉的人机交互中, 由于人手的信息不能直接被计算机获取, 人手姿态参数估计成为一项基础性工作，所以，手部姿态估计一直受到广泛重视。在国外，Doliotis等[1]通过建立手势数据库，基于深度图像提取特征进行数据库索引,找到最为匹配的手势完成姿态估计。Keskin等[2]使用随机决策森林对深度图像进行分类，计算类别中心以获取手部各关节中心位置，从而得到手部骨架信息。这一类方法具有速度快的优点，但是需要大量的训练数据、同时有泛化能力不足、估计精度不高的缺点。在国内，周文猛等[3]使用Kinect作为输入设备，在无标记的情况下对人体手部进行估计，跟踪恢复出人体手部的姿态信息。这一方法优化了对手部图像处理的速度，但是Kinect传感器的精度有限，难以保证准确地估计人手姿态。胡弘等[4]提出基于Leap Motion输入设备的关键点模型手姿态估计方法。这一方法利用最新的该精度采集设备，准确获取信息，能够实时地估算出手各个关键点的位置，但是在手姿态估计过程存在偏差，并且精确性不足。本文方法构建更准确的关键点模型，以关键点的空间位置作为参数进行姿态估计，设计算法再设计算法获取沙画手法中铺沙，捏沙这两个基础手法中相关数据进行虚拟仿真。利用Leap Motion获取的手势信息，估算出指尖，远指关节，近指关节，指掌关节等21个关键点的三位空间位置，21个关键点位为人手部15个运动的关节点，5个指尖，1个手腕关节点。 1 Leap Motion Leap Motion 利用红外成像的原理，能检测并跟踪手，手指和类似手指的工具，能实时获取它们的位置`方向和手势信息，并将这些信息提供给开发者，以达到人机交互的效果。Leap Motion采集的基本单位是帧，平均具有0.7mm级的捕获精度，有很高的采集效率和准确性，可以满足手姿态对信息采集的要求以及沙画制作手部运动捕获的要求。 Leap Motion采用了右手笛卡坐标系，如图1，Leap Motion获取的手坐标和向量都是基于Leap Motion坐标系（以下简称为）本文在 坐标系中对个关键点坐标进行计算和处理。 图1 Leap Motion右手坐标系统 Leap Motion的手模型，如图2。本文利用Leap Motion获取的手掌和手指的信息为（在Leap Motion的坐标系下）：掌心坐标，手掌法向，手掌朝向，手指长度，手指方向，指尖坐标。 图2 Leap Motion手模型 2关键点模型 三维手模型可以分为体模型、网格模型、几何模型以及骨架模型[5-6]。相比较而言，三维骨架模型既易于实现又能体现三维特性，可以通过一定方法重建出满足真实感要求的训练用虚拟手。本文依据手的三维骨架模型构建出关键点手模型，将手掌(Palm)、、指尖(TIP)、远指关节}D IP)、近指关节(PIPS、指掌关节(MCP)等20个关键点的空间位置标注出来，作为手的姿态参数，如图3所示.这些关键点的位置信息少部分可以直接从Leap Motion中获取的，如手掌、指尖，其他则需要通过建模求解才能获得. 平面四边形模型 食指、中指、无名指、小指四指都有三个可活动的关节点，都具有指尖点、远指关节点、近指关节点和指掌关节点4个关键点。拇指构造有所不同，但同样有三个可活动的关节点和四个关键点，四个关键点分别是指尖点，指关节点，指掌关节点，腕-指掌关节点[7]，建模方法与解四边形类似。 以拇指以手指的腕-指掌关节点有原点，其余四指以手指的指掌关节点为原点，指掌关节点到指尖点的方向为X轴，以垂直以于X轴且使指关节点Y值为非负的方向为Y轴，构建手指局部平而坐标系，如图所示.其中，圆点代表4个关键点的位置，θ1和θ2在拇指上表示指关节与指掌的弯曲角度，在其余四指上表示近指关节与远指关节弯曲的角度。构建一只手指的局部平面坐标系四边形模型如下： 其中，对应某一时刻实际空间中手指的伸出长度 (即腕指掌关节点或指掌关节点到指尖点的距离)，