基于视觉的人体跟踪技术在人机交互中的应用-软件工程专业论文.docx

摘要摘要现阶段，数字娱乐领域的人机交互模式单一，此研究将计算机视觉引入数字 娱乐的人机交互，采用基于视觉的人体运动分析作为数字娱乐的人机游戏交互界 面，进一步丰富和完善了数字娱乐的人机接口。本研究应用了一个简易的人体上半身三维模型，这个模型对跟踪和人体模型 的恢复有很强的指导作用，能够很好地模拟人上半身的一般动作。使用USB单摄 像头采集图像，实时计算场景深度信息，然后结合使用深度和颜色信息进行人体 跟踪，做了基于颜色直方图的粒子滤波的跟踪算法，并得出了实验结果。通过实 验证明，该系统能在复杂背景下对人体上半身的一般运动进行实时鲁棒的跟踪和 识别，并很好地解决了自动初始化和错误恢复等问题。此外还开发了一套数字娱 乐程序框架和一款运用了DirectX技术，完全使用人体运动分析系统且通过身体 驱动的Stranded游戏，运用BodyTracking类作为该游戏的输入系统，该类是输 入系统中的最主要的一个类。它是把基于视觉的人体跟踪技术运用在游戏中的人 机交互接口的平台，以手部姿态跟踪与识别为例进行人机交互的实现，头部的跟 踪与识别则参照上述方法和程序进行实现。本游戏系统通过从USB摄像机中获取的人体实时图像，经过图像的预处理（图 像的简化等），得到不同阙值的人体头部和人手的特征量，并从中选取当前背景 下最合适的阙值，让决策树进行识别，最后通过窗口控制来作为游戏中替代鼠标 键盘的输入方式，实现游戏的人机交互，从而构建了一个新颖的具有很强人机交 互特点的数字娱乐系统。关键词: 数字娱乐，计算机视觉，人机交互，人体跟踪ABSTRACTAbstractNow,forthesinglepatternofhuman-computerinteractionindigital entertainment,inthisthesis,computervisionisintroducedintohuman-computer interactionindigitalentertainmenttoperfectthepracticeofman-machineinterfaceby the analysis on the bodymovement based on computervisual.Thethesisintroduceasimple3Dmodeloftheupperhalfofthebodywhichcan imitatebodymovementandhasanimportantdirectionintrackingandrecoveringof bodymodel.TheexperimentisperformancedthatUSBcameraisusedtogetimage data,tosimultaneouslycalculatethedepthinformation,thentoapplyabodytrackby usingtheinformation ofdepth andcolorandto perform atrackingalgorithm of particlefilteringbasedoncolorhistogram.Theresultsoftheexperimentindicatethat theRobusttrackingandrecognizingofnormalmovementoftheupperbodycanbe realizedincomplicatedbackgroundandsuchproblemsasautomaticinitializationand faultrecoveringcanberesolved.Moreover,digitalentertainmentprogramframeworkis builtandStrandedGameisdevelopedthroughDirectXtechnologywhichappliesthe analysissystemonthebodymovementandtakesthebodyasadriver.Itisthemost importantoneofallinputsystems,acomputerplatformofhuman-computer InteractionwhichbodytrackingisappliedbasedonvisualintheComputerGame.It realizesthehuman-computerfunctionbytakinghandmovementrecognizingand trackingforexamplewhichheadrecognizingandtrackingisalsocarriedoutr