基于kinect手势识别技术及其在教学中应用-gesture recognition technology base on kinect and its application in teaching.docxVIP

基于Kinect的手势识别技术及其在教学中的应用摘要随着计算机技术的发展，人机交互也经过了命令行界面、图形用户界面，到自然用户界面（NUI）的发展过程。自然用户界面即用户以自然的方式与计算机进行交流如语音、触控、手势等。其中手势是一种自然而直观的人际交流模式.基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术。Kinect 作为一个革命性的产品，正在提供一项全新的人机交互的方式[1]，使人机互动的理念更加彻底的展现出来。它能够捕捉、跟踪以及解密人体的动作，手势以及声音，而其在教学中的应用以体感教学为主。本文通过利用Kinect进行静态手势识别，和单手、双手动态手势识别，以提供无接触式互动交互。并在此基础上结合其他元素实现可应用于教学的自然用户界面。本论文的工作主要有一下几个方面。首先有定义一套简单易用的NUI接口，其目标是使其更好的用于体感教学。其次利用Kinect提供的深度信息提取出手部，并利用边界追踪算法进行指尖定位，从而实现静态手势识别。利用在语音识别上广泛应用的隐马尔可夫模型(HMM)进行动态手势识别，并在此基础上提出运用耦合隐马尔可夫模型进行动态手势识别，从而可以同时识别单手以及双手动态手势。在已有的基础上实现手势识别软件，并将其应用到教学之中。本文的工作在动态手势识别相关研究中有所创新，具有重要应用创新价值。同时对相关算法的研究也具有一定学术价值。本论文的工作也为后续的研究开发工作打下了良好的基础。关键词：自然用户界面，Kinect，手势识别KINECT-BASED GESTURE RECOGNITIONANDAPPLYING ITIN TEACHINGABSTRACTWiththedevelopmentofcomputertechnology,human-computerinteractionexperiencedthreestages,commandlineinterface,graphicaluserinterface,andthenaturaluserinterface(NUI).Naturaluserinterfaceisthattheuserexchangeswithcomputerinanaturalwaysuchasvoice,touch,gestures.Thegestureisanaturalandintuitivemodeofinterpersonalcommunication.Asakeytechnologyforanewgenerationofhuman-computerinteraction,vision-basedgesturerecognitionisindispensable.Asarevolutionaryproduct,Kinectisprovidinganew modeofhuman-computerinteraction[1],andmakestheideaofhumanmachineinteractionmorethorough.Itcancapture,trackanddecryptionofthehumanbodymovements,gesturesandsound.ThemainapplicationofKinectineducationismotionsensingteaching.Thispaperproposescertainmethodthathowtoimplementstaticgesturerecognition,anddynamicgesturerecognitionwithoneortwohands,toprovideanon-contactinteraction.Andthenthegesturerecognitioniscombinedwithothertechniquestoachieveanaturaluserinterfacethatcanbeusedinteaching.Themajorworkinthisarticleincludesseveralparts.Firstoneisthedefinitionasetofeasy-to-useNUIinterfacetomakeitbetterperformanceofthesensingteaching.Secondoneistheimplementationofthestaticgesturerecognitionbyusingthedepthinformationtoextractthehandandborder-followingalgorithmtofigureoutfingertipposition.Thirdoneistherealizationofdyn