基于指尖触控的互动投影系统.docVIP

基于指尖触控的互动投影系统 导语：?本文提出了基于单目摄像机与投影仪系统能够在任意平面徒手触摸的交互系统，包括前景区域分割、指尖点的定位以及触摸检测三个部分。 投影仪摄像机系统的研究在当前的人机交互领域中备受关注，由于摄像机和投影仪系统硬件设备的便携性，该技术给互动投影在嵌入式移动设备上的应用带来了很大的机遇。本文提出了基于单目摄像机与投影仪系统能够在任意平面徒手触摸的交互系统，包括前景区域分割、指尖点的定位以及触摸检测三个部分。结合投影图像与摄像机图像反射率对比的显著性检测方法，并融合均值漂移实现了图像前景手臂区域的分割；对前景轮廓的边缘进行检测，并对边缘点序列进行曲率计算，根据曲率极值与轮廓重心的距离约束条件来定位指尖点位置；基于空间结构光编码测量技术的思想提出了自适应编码的方法，通过嵌入在帧间投影图像中的自适应编码，判断指尖点与投影平面的空间距离，实现触摸检测。 系统框架与算法原理 本文采用基于DLP（DigitalLightProcession）技术的便携式投影仪与单个普通可见光摄像机固定在一起组成的互动投影系统，通过投影仪将背景画面投射在任意的规则平面上，如白纸、墙壁、桌面等，由摄像机捕捉用户在投影屏幕上的交互手势图像，经数据接口传输给计算机进行处理，对前景手臂区域分割提取并检测指尖点的位置，最后采用自适应结构光编码的方法检测指尖触摸投影平面的操作，并由计算机执行相应的操控，实现触控的投影交互方式。 基于指尖触控的互动投影系统算法原理框架流程如图1所示。通过计算机视觉的方法对指尖触摸进行检测，主要可以分为前景手臂区域检测、指尖点定位以及触摸检测三大部分。 图1 系统算法流程图 为了检测指尖点触摸的位置，系统需要对投影背景上的前景手臂区域进行提取分割。在互动投影人机交互系统中，由于投影背景画面的多样性，传统的图像分割方法比较难以准确实现前景的手臂区域提取。本文根据手臂皮肤对光照的反射率与投影屏幕物体表面的反射率差异性来检测前景区域的显著性特征。假设周围环境光的影响为Q，投影平面物体的表面反射率为A，摄像机在像素级的颜色转换函数为C，视觉回馈图像的亮度值为E，则有： 经过mean-shift的图像分割抽象后，摄像机采集图像的前景与背景的细节纹理均已被消除，图像的像素点分类成M个不同的图像区域。系统算法通过融合显著性特征图以及mean-shift分割平滑细节后的图像来实现前景手臂区域的提取。 (a)投影背景图像；(b)摄像机采集图像；(c)基于反射率对比的显著性检测结果；(d)均值漂移图像分割结果；(e)显著性图与均值漂移分割的融合结果；(f)最终前景分割结果 图2 基于显著性检测的前景提取 触摸检测 基于指尖触摸的互动投影系统需要对用户在投影仪平面上交互的指尖触摸进行检测，指尖点的定位是准确判断触摸位置的基础。如图3所示，本文的指尖点定位检测是基于曲率极值的方法来实现。首先，对手臂区域分割后的前景基于Canny算子检测边缘轮廓点；其次，对所有的边缘序列点计算对应的曲率，通过寻找曲率的极大值可以获取指尖位置的候选点；再次，在对前景轮廓提取完曲率的极大值点后，我们发现手掌的轮廓曲率较大的不仅包含指尖点的位置，还有手指之间夹缝的峰谷点，但可以根据候选点与手掌区域轮廓的重心距离来排除；最后，将每个候选点距离较近的点分类成一个组合，称为同一个手指上的候选点，而距离较大的分类在不同的组，一个手掌区域总共可以分成五个组，每个组的点取平均值作为最终的指尖点返回。 触摸检测的实现是基于一种自适应结构光编码，系统根据前面检测到的用户前景指尖点位置后，将结构光的图案编码投射在指尖点附近的小领域范围内，并且该结构光图案的颜色通道会随着投影背景画面中相应位置的像素值而自适应的改变。在投影仪前后两帧投影图像嵌入自适应结构光编码，彩色编码图案通过对背景像素点的亮度值添加或减少一个固定编码值，从而减少本身对背景画面的视觉干扰。 本文采用的自适应结构光编码主要由三种不同形状的几何图案组成，分别为条形、方形和方框。三种几何图案在红、绿、蓝、黑四种颜色通道随机生成彩色结构光编码。如图3所示，图像上每个像素点的码字是以该点为中心的邻近33的子窗口几何图案构成的特征向量。 图3自适应结构光编码图案 三种不同的几何结构图案与四种颜色通道可以组成12个不同的特征基元。具体每个基元图案的编码如表1所示，系统定义图像上任意点以其为中心的33邻近的图案构成的子窗口作为该点的码字，不同的子窗口码字具有独特性，而且与邻域窗口的码字差异很大。图3为自适应编码的码字定义方式，每个窗口的码字编码为子窗口中从左至右，从上至下的9个基元图案组成的特征向量。一般来说，子窗口与邻域之间的码字的汉明