基于Kinect的姿势识别技术在多媒体教学中的应用-计算机科学与技术专业论文.docxVIP

Dissertation Submitted to Hebei University of Technology for The Master Degree of Computer Science and Technology The Application of Gesture Recognition Technology in Multimedia Teaching based on Kinect by Zheng JiaoJiao Supervisor: Prof. Gu JunHua November 2014 原创性声明本人郑重声明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取 得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人 创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作 做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明 的法律责任由本人承担。 学位论文作者签名： 日期： 关于学位论文版权使用授权的说明 本人完全了解河北工业大学关于收集、保存、使用学位论文的规定。同意如下各项 内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷 本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目 录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关 部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当 复制论文的部分或全部内容用于学术活动。 （保密的学位论文在解密后适用本授权说明） 学位论文作者签名： 日期： 导 师 签 名 ： 日 期 ： 摘 要 随着会议智能化程度的普遍提高，几乎所有行业的正式会议都会使用 PPT 来进行辅 助展示。演讲人在进行展示过程中需要借助双手对电脑进行操作，或者利用终端设备进 行翻页操作等。为了将演讲人的双手从设备中解脱出来，引入了基于 Kinect 的姿势识别 及手势识别技术。Kinect 在多媒体教学中应用后，人们能够以更加自然的方式与计算机 进行交流如语音、触控、手势等，实现体感教学。 本文主要对基于 Kinect 的人体姿势识别和手势识别进行研究。采用隐马尔科夫模型 HMM 进行人体姿势识别过程中，引入了分层识别方式，将人体运动数据解释为不同的 抽象级别，目标行为及层次结构以树的形式进行表达。针对手指轮廓绘制过程中的联通 性歧义问题对边界跟踪 Border-Following 算法进行改进，同时对指尖识别过程中的 K-curvature 算法进行了 K 值校准优化，大大降低了人与摄像机距离和手的大小对识别 结果造成的影响。 首先，人体姿势识别。一般的基于 HMM 进行姿势识别的方法是将运动时间序列输 入到 HMM 模型中，选择最大可能性的节点进行动作识别，这会造成整个系统无法处理 好新数据（系统数据库未记录的姿势数据）。改进后的 HMM 算法中，对动作模型采用 分层识别方式，可以将未定义动作模型标记为其它，选出最大可能性的节点后还需对该 节点进行置信度检测，提升了识别结果的准确性。 其次，静态手势识别。在人体姿势识别的基础上提取出手部位图像，针对联通性歧 义问题对边界跟踪 Border-Following 算法进行改进，完成手轮廓描绘，让图像更加清晰。 通过 K-curvature 算法计算边界点上各个像素点的曲率值，找出指尖点。为了降低人与 Kinect 距离和手的大小对识别结果的影响，根据边界点数量对 K 参数进行调整优化，经 过反复实验确定最优 K 值。 最后，动态手势识别。动态识别过程需要进行数据预处理、手势分割、手检测、最 小凸包的构建与计算、特征分析与提取、数据降噪与滤波处理、时间序列的优化等一系 列过程，完成对动态姿势的识别与分析。 关键词：Kinect 交互识别 手势识别 语义解析 ABSTRACT With the increase in the general standard of meeting intelligent degree, almost all sectors of formal meeting will use PPT for auxiliary display.The speaker needs hands to operate computer in the process of displaying, or uses terminal equipment for flip operation, etc.In order to bring the speakers hands free from equipment, the posture a