基于移动终端的手势识别分析与实现-analysis and implementation of gesture recognition based on mobile terminal.docxVIP

摘要在人类进行信息交互的多种方式中，手势占有很重要的地位，和语言、文字相比，手势的通用性更广，普适性更高。近年来移动互联网的崛起带动了移动终端的快速普及，人机交互方式也发生了重要转变，人类在交互中的地位逐渐提高。移动终端携带的多种传感器，如摄像头、触摸屏等，为基于视觉的手势识别与手写手势识别提供了硬件基础，手势识别能够提供更加友好的人机交互方式。然而基于视觉信息的手势具有复杂多变的特性，不单是平面或空间中的模型，而是具备了时间特性的非刚体运动模型，目前基于手势的人机交互方式尚未成熟。本文在对基于视觉信息的动态识别与移动终端手写手势识别的研究上做了如下工作：在基于视觉的动态手势识别中。手势分割阶段，本文改进了手势分割流程，使用VIBE算法进行运动目标检测，在YCrCb色彩空间下进行肤色建模，将两者运算结果相“与”得到大致的手势区域，将获取到的可能的手势区域图像进行形态学处理，消除手臂区域，获得较为完整的人手图像。对比多种特征提取方法，采用手势图像不变矩的修正值为特征向量。静态手势识别阶段，利用大量手势训练得到的人工神经网络作对得到的手势图像进行识别。动态手势识别阶段，压缩视频流中的手形图像关键帧序列，运用隐马尔科夫模型识别手势的运动轨迹，将两者相结合映射到设定的动态手势，执行系统定义的人机交互命令。在基于手写的手势识别中。本文运用遗传算法与粒子群算法相结合的方式改进人工神经网络，数据显示改进方法对当前网络的误差下降有一定帮助，理论上遗传算法与粒子群算法的全局寻优特性可以改进传统的神经网络中的缺陷。通过改进的人工神经网络模型对移动设备上的手写手势分类。此外，本文对基于视觉的手势识别与手写识别在移动终端上的应用进行了探索实现。关键词：手势分割，特征提取，不变矩，人工神经网络，隐马尔科夫模型ABSTRACTGestureisoneoftheimportantwaysofhumaninformationinteraction,comparedwithlanguageandwords,gestureshavegreaterversatilityanduniversality.Withtherapiddevelopmentofinformationtechnology,especiallythedevelopmentofmobileinternettechnology,intelligentmobileterminalbecomesmoreandmorepopular,thesubjectofhuman-computerinteractionbegantotransferfromacomputertoahuman.Mobileterminaltocarryvarioussensors,suchascameras,touchscreen,theybuildthehardwarefoundationforgesturerecognitionbasedonvisionandhandwritinggesturerecognition,gesturerecognitioncanprovideawayofhuman-computerinteractionmorefriendly.Butthevisionbasedgesturewithadiversityoftimeandspace.Andhuman’shandiscomplexnonrigid.Thereforetheman-machineinteractivewaybygesturerecognitionisstillintheexperimentalstage.Inthisthesis,thefollowingworkhasbeendonebasedontheresearchofdynamicgesturerecognitionandhandwritinggesturerecognitiononmobileterminal.Thedynamichandgesturerecognitionbasedonvision.Inthestageofhandgesturesegmentation,thisthesisimprovesthehandgesturesegmentationprocess.ThisthesisuseVIBEalgorithmcombinedwithYCrCbcolorspaceofskincolorclusteringtosegmentgesture.Thenprocessgesturesregionwithmorphologyprocessing,andremovearmregion,wewillgetthecompletegestureimage.Infeatureextract