基于Kinect的手势识别及在虚拟装配技术中的实践应用.pdfVIP

第 2l卷 第 l0期 电子设计工程 2013年 5月 Vo1．2l No．10 ElectronicDesignEngineering Mav．2013 基于Kinect的手势识别及在虚拟装配技术中的应用 陈艳艳 ，陈正鸣 ．-，周小芹 · (1．河海大学 物联 网工程学院，江苏 常州 213022；2．江苏省输配电装备技术重点实验室 江苏 常州 213022) 摘要 ：为 了实现在 Virtools环境下 自然方便的人机交互过程 ，设计开发 了基于 Kinect的虚拟装配交互技术 该技术通 过三维多手指检测并结合 Kalman滤波来稳定跟踪指尖 ，同时基于指尖特征 自定义 了多种装配所需的手势：以Mir- crosoftVisualStudio2010为开发工具，设计 了手势操控相关功能块 的编辑后集成于Virtools环境 中，实现 了手势在虚 拟装配中的交互控制 。实例证 明．该技术能很好地完成虚拟装配过程 ，效果 良好。 关键词 ：手势识别 ；虚拟装配 ；Kinect；OpenNI 中图分类号：TP391．9 文献标识码 ：A 文章编号：1674—6236(2013)10一OOO4—04 GesturerecognitionbasedonKinectandapplicationinthevirtualassembly technology CHEN Yan—yan ．CHEN Zheng—ming一。ZHOU Xiao—qin， (1．CollegeofNetworkingEngineering，HohaiUniversity，Changzhou213022，China； 2．JiangsuKeyLaboratoryofTransmissionandDsitributionEquip~nt，Changzhou213022，China) Abstract：To achieve anaturaland convenientHuman—Computerinteractiveprocessin Virtools，the virtual assembly technology based on Kinectisdesigned．Thetechnoloyg stablytracksfingertipsthrough athree-dimensionalmulti-finger detectioncombinedwithKalmanfiltering，anddefinesavarietyofrequiredassemblygesturesbasedonthefingertipsfeatures． Thissystem usesMicrosoftVisualStudio2010asthedevelopmenttoo1．Afterdesignedandedited，BuildingBlockrelated gesturesareintegratedinVirtoolsenvironmentandinteractionofgesturesinthevirtualassemblyisrealized．Experimentsshow thatthetechnoloyg effectivelycompletesthevirtualassemblyprocess． Keywords：gesturerecognition；virtual assembly；Kinect；OpenNI 基于视觉的手势识别 ．是通过视频 图像信息获取人 的手 虚拟装配系统 ，设计 了选取 、移动 、旋转和缩放等手势 ，以满 势姿态 ，对其进行分类识别的一种人机交互技术 。它作为一 足装配过程 中的基本操作 ，并对 Virtools装配环境中的关键 门新兴 的技术 ．近年来受到 了众多 国内外学者 的关注。Kine