基于视频的动态手语识别算法研究-计算机科学与技术专业论文.docxVIP

摘要随着计算机的迅速普及，“以人为中心”的新一代人机交互技术成为当前研究的热点问题。手势识别是其中一个不可或缺的组成部分。尤其是基于计算机视觉手势识别的研究，因其符合人的自然习惯而且设备价格低廉，受到越来越多的关注。同时，作为一种特殊的手势，手语是聋人之间交流的主要“语言”。由于健听人一般不懂手语，而且手语翻译作为一个新兴职业，还远远难以满足市场需求，因此手语识别的研究就十分迫切。通过手语识别的研究，可以让聋人与健听人之间更好的交流，而且可以进一步促进计算机相关领域的发展。本文提出了一种手语识别的新思路，即基于关键帧的动态手语识别。将动态地手语视频转换为静态的关键帧组合，极大地减少数据量，并通过识别关键帧组合，实现实时的手语识别。在此基础之上，本文提出了一种自适应的关键帧检测算法，可以针对不同的手语者、不同的采样频率提取关键帧。将这些关键帧看做手语基元，相同基元的不同组合即可构成不同语义的手语。因此提出了一种加权的基元组合识别算法。根据基元对手语语义的贡献不同给它们分配不同的权值，然后利用随机森林对提取到的关键帧进行分类识别，最后采用加权匹配的方法识别关键帧（基元）组合。系统测试表明，本文所提出的算法，不仅可以准确的提取关键帧，即手语基元，也可以对动态手语做出实时高效的识别。关键词：动态手语识别，关键帧提取，随机森林，特征提取，手语基元，加权匹配IABSTRACTWiththerapidpopularizationofthecomputer,anewgenerationofhuman-centeredhuman-computerinteractiontechnologyhasbeenbecomingthecurrenthotissues.Gestureisakindofnaturalandintuitivemeansofcommunicationbetweenhumanandcomputer,sogesturerecognitionisoneofthekeytechnologiestorealizethenewgenerationofhuman-computerinteraction.Atthesametime,signlanguageisthemethodfordeafpeopletocommunicateandexchangeideasinsteadoflanguagethroughfingeralphabetandgestures.Mostofthehearingknowlittleaboutsignlanguage,soitishardforthemtocommunicatewiththedeaf.AndasanewoccupationinChina,signlanguageinterpretingisdifficulttomeetthedemand.Therefore,researchonsignlanguagerecognitiontechnologycanmakethecommunicationbetweendeafandhearingpeoplemoreconvenientandaccessible.What’smore,itcanalsopromotethedevelopmentofthecomputerrelatedfields.Anewmethodforsignlanguagerecognitionisproposedinthispaper,whichisbasedonkeyframeextraction.Thesignlanguagecanberecognizedinreal-timebyreducingtheprocessingdatathroughturningthevideointogesturessequence.Toachievethekeyframeextraction,anadaptivealgorithmwhichcanadapttodifferentsigners,differentsamplingfrequencyisproposedinthispaper.Thekeyframescanberegardedassignlanguageunitsandthedifferentcombinationsoftheunitsrepresentthesignlanguages.Butdifferentunitsshowdifferentimportancefordifferentsignlanguage.Accordingtothis,analgorithmforrecognitionbasedonweightedunitsisproposed.Theweightsaremeasuredbyd