基于Kinect的实时稳定的三维多手指跟踪算法.pdfVIP

第 25卷第 12期 计算机辅助设计与图形学学报 Vo1．25No．12 2013年 12月 Journa1ofComputer—AidedDesign ComputerGraphics Dec．2O13 基于Kinect的实时稳定的三维多手指跟踪算法 晏 浩”，张明敏”，童 晶∞，潘志庚h。 1’(浙江大学 CAD＆ CG国家重点实验室 杭州 310058) 。(杭州师范大学数字媒体与人机交互研究中心 杭州 310012) 。(河海大学物联网工程学院 常州 213022) (zmm@cad．zju．edu．cn) 摘 要 ：针对现有手指跟踪算法 的不足 ，利用微软 Kinect设备提 出一种实时鲁棒 的三维多手指跟踪算法．首先利用 深度图分割 出一个粗糙 的手 区域 ，对该区域应用基于像素分类 的指尖检测算法得到二维指尖点的位置 ；然后在深度 图上对二维指尖位置周 围的点进行采样 ，将均值作为指尖点的 z坐标 ，再利用卡尔曼滤波器 以及帧之间的连续性对 指尖点的三维位置进行跟踪．依据 Kinect数据特点提 出的二维指尖检测算法和利用帧之间连续性的卡尔曼滤波器 是文中算法的关键．实验结果证明，该算法能够实时、稳定地进行三维多手指跟踪． 关键词 ：多手指跟踪 ；3D人机交互 ；Kinect 中图法分类号 ：TP391．4 RealTimeRobustM ulti_fingertipsTrackingin3D SpaceUsingKinect YanHao”，ZhangMingmin ，TongJing’，andPanZhigeng，。 (StateKeyLaboratoryofCAD CG．Zh~iangUniversity．Hangzhou 310058) (DigitalM edia InteractionResearchCenter，HangzhouNormalUniversity．Hangzhou 310012) (CollegeoflnternetofThingsEngineering，HohaiUniversity，Changzhou 213022) Abstract：Inthispaper，weintroduceafastandrobustalgorithm fortracking3D multi—fingertipsusing Kinect．OurmethodfirstlyusesKinecttogetaroughhandregion，thenappliesthefingertipdetection methodbasedonpixelclassification togetthe2D fingertips．Finally，wesampleon thedepth map aroundthedetectedfingertiptogettheZ-valueofthefingertipsandthencombinetheKalmanfilter andthecontinuity between framesto track the3D position offingertips．Thefingertip detection methodbasedon the specialty ofthedata ofKinectand theKalman filterappliedwith continuity betweenframesarethekeyofouralgorithm．Theexperimentalresultsshow thatouralgorithm can robustlytrack3D multi—fingertipsinrealtime． Keywords：multi—fingertipstracking；3D humancomputerinteraction；Kinect 在人机交互和虚拟现实系统中，实时、稳定的多 户 以操作真实世界物体的方法去操作虚拟世界 的物 手指跟踪能给用户带来友好 的交互体验 ；稳定的手 体 ，这势必大大增强人机交互系统和虚拟现实系统 指跟踪还能提供手的结构信息及其运动轨迹 ，因此 的沉浸感． 也能够显著地提高手势