基于计算机视觉3D手势交互系统.docVIP

基于计算机视觉3D手势交互系统 　　摘 要： 随着计算机的广泛发展，键盘、鼠标等传统的人机交互方式很难满足用户自然、便捷的交互需求。研究手势建模、人手跟踪和手势交互系统的应用成为热点趋势。提出了一种简化的2D人手模型，该模型将人手建模为掌心点和5根手指，同时设计了一种基于粒子群优化（PSO）算法的人手跟踪方法，通过建模人手的生理和运动学约束关系，实现了基于2D/3D人手模型的PSO人手跟踪，该手势交互系统框架更具适用性和扩展性，融合了语义和反馈信息，提高了人手跟踪的鲁棒性和手势识别的准确度。 　　关键词： 人手跟踪； 人机交互； 手势识别； 粒子群优化； 计算机视觉 　　中图分类号： TN911.73?34； TM417 文献标识码： A 文章编号： 1004?373X（2016）17?0026?04 　　手势是人们日常生活中最常用的交流方式之一，具有很强的表意功能，与键盘、鼠标等传统交互设备相比，具有自然、直观、友好、便捷等特点，更符合人们的交流习惯[1]。但是，由于手势本身具有多样性、多义性、多变性和时空差异性等特点，背景环境复杂多变、不可预知，加之人手自由度高而灵活，使得基于视觉的手势交互成为一个极富挑战性的多学科交叉的研究课题。基于视觉的手势交互技术和方法的研究，不仅在人工智能、模式识别、机器学习等学科中具有重要的理论意义，在智能化的学习、工作以及生活中也具有非常广泛的应用前景[2]。基于视觉的手势交互技术是实现新一代人机交互不可缺少的一项关键技术。 　　1 二维人手跟踪方法 　　1.1 2D人手建模 　　3D人手模型虽然能够更加完备地建模人手参数空间，且有利于恢复3D人手信息，但由于3D人手模型维度高、参数空间复杂，且人手模型参数的渲染过程及模型投影过程都很复杂，故很难达到实时。而简化的2D人手模型，自由度相对较低，参数空间小，且省略了复杂的渲染、投影过程，在执行时间和效率上更具优势，且2D人手模型在一般情况下能够满足应用需要，达到实时性要求，所以更具有实际应用性。 　　在二维空间中对人手进行建模，该人手模型由一个手掌和5根手指组成，如图1（a）所示，其中每根手指用其英文单词的大写首字母表示，则5根手指的集合可以表示为[F=]{T，I，M，R，L}。将整个人手表示成32维的向量[S=c（x，y）；P，]其中[c（x，y）]是手掌矩形框的中心点坐标，用来表示人手的全局运动；[P=（kif，dif）f∈F，i∈{1，2，3}]是5根手指的参数集合，每根手指用3个直线段[（kif，dif）]表示，[kif]和[dif]分别表示手指[f]中第[i]段指节的斜率和截距，如图1（b）所示。目前，尝试使用手指间的夹角作为参数，这样几乎可将人手参数空间减半，还可避免斜率为无穷时的复杂计算[3]。 　　参考3D人手骨架模型的约束关系，同样为2D人手模型引入约束[4]。假设已知各个手指指节的长度和宽度，每个手指即可用2个角度表示，一个角度表示根指节与图像平面的夹角，另一个角度表示中指节与图像平面的夹角，根据根指节、中指节夹角与中指节、端指节夹角之间的线性约束关系，即可由中指节与图像平面夹角推导得到端指节与图像平面的夹角。 　　1.2 基于PSO的二维人手跟踪 　　1.2.1 预处理 　　采用从RGB?D传感器获得的彩色图[I]和与之对应的深度图[D]作为原始输入数据。其中，[I]和[D]都是640×480的矩阵，且[D]中的每个深度值对应彩色图[I]中的一个像素值[5]。对深度图[D]进行阈值操作，得到目标人手区域，并进行平滑、去噪，得到新产生的深度图[Od；]然后，对彩色图[I]进行预处理，获得肤色图[Os；]将[Os]和[Od]进行融合并二值化作为评价假设人手参数的真实观测数据[O。] 　　1.2.2 搜索空间 　　每根手指用3条直线段[（kif，dif）]表示，其中[kif]和[dif]分别表示手指[f]中第[i]段指节的斜率和截距，再加上表示人手全局运动的手掌中心点[c（x，y）]，则整个人手可表示为32维向量[S=c（x，y）；P]的形式，[P=（kif，dif）f∈F，i∈1，2，3]是5根手指的参数集合。人手参数空间即构成PSO的优化搜索空间，且参数的取值范围服从线性约束。考虑到手指指节线段之间的斜率线性约束关系，在计算过程中可以化简降维，从而减少计算量，提高PSO优化搜索的时间性能[6]。 　　1.2.3 目标函数 　　为了度量人手假设参数[h]与真实观测帧[O]之间的差异，从而寻找出与真实观测帧[O]最为接近的人手参数[h，]需要建立一个适应度评测函数[E（?）]，即PSO优化求解中的目标函数。将目标函数[E（?）]定义为： 　　[E（O，h，C）=P（h）+λk?D（O，h，C）]