面向多传感器融合的手势视觉特征提取与识别-生物医学工程专业毕业论文.docxVIP

中国科技大学硕士论文 中国科技大学硕士论文 摘要 摘 要 手势是一种直观方便的交流方式，通过对手势的识别可以实现自然舒适的人 机交互，因此基于手势的交互技术是人机交互领域的重要研究内容之一。手势交 互技术有着广泛的应用，可以用于虚拟现实环境中对虚拟物体的操控，也可以运 用在智能家电以及相应的自动控制领域，还可以为儿童、老人和聋哑人的生活和 教育提供帮助。 由于人体手部的复杂构造使得手势具有多样性，手势识别依旧是一个研究难 点。目前主要的识别途径可以分为基于视觉的手势识别以及基于表面肌电信号和 加速计的手势识别方式。基于视觉的手势识别利用摄像头对手势动作实施非接触 式捕获，是一种较为自然的交互方式。但是容易受到视角，背景等因素的影响。 基于表面肌电信号和加速计的手势识别不受外部环境的影响，具有较好的鲁棒 性，但是该方法的分类准确度受到个体差异等因素的影响。 本文重点考察基于视觉信号的手势特征提取，在此基础之上，将表面肌电信 号和加速计信号与视觉信号相结合，探索多传感器融合下的手势识别。主要的研 究内容和研究成果如下： 1．基于视觉信号的手型提取和指尖定位。通过肤色信息结合主动轮廓模型提取 手型。采用基于边界的手指轮廓模型对指尖进行检测定位。通过指尖可以描 述手势单个手指的个数以及手指的轨迹，为后续的手势识别提供重要信息。 2． 基于视觉的手势特征提取与识别。提出改进型形状上下文描述子表达手势轮 廓和提取特征的方法。该方法是一种基于手势轮廓重心的投影方法，降低了 投影之后的计算量，避免了由轮廓点采样而带来的不利影响。采用有向无环 图支持向量机对手势进行分类。实验结果表明利用改进型形状上下文描述子 的字母手势识别得到了较好的效果。 3．将视觉信号和表面肌电信号以及加速计信号相结合，采用多传感器融合技术 实现手势识别。在融合过程中，提取静态视觉特征来和表面肌电信号特征描 述手势的姿态，采用动态手势特征和加速计信号特征描述动态手势轨迹，采 用隐马尔可夫模型及支持向量机对相应特征进行判决，再采用决策级融合方 法完成手势类型的最终判决。实验结果表明，多传感器融合能够提升总体识 别率，取得较好的识别效果。 关键词：视觉手势特征 多传感器融合手势识别 人机交互 中国科技大学硕士论文 中国科技大学硕士论文 ABSTRACT ABSTRACT Hand gesture is a convenient and direct communication way in daliy life．The comfortable Human-Computer Interaction(HCI)Can be achieved naturally through hand gesture recognition．And interaction technique based on hand gesture is an important research field in HCI．In the gesture·based HCI application，gestures can be used to operate the virtual objects in virtual reality environment or control the intelligent electric appliances in the auto control field． Nowadays，the main approaches of hand gesture recognition Can be listed as： vision—based，surface Electromyography(sEMG)-based and accelerometer(ACC)一 based gesture classification．Vision based hand gesture recognition is a comfortable interaction method which captures the hand gesture without contact．But it is influenced by many external factors such as view angle，background and SO on．On the contrary,sEMG based and ACC based hand gesture recognition is not affected by these external factors but surffers the individual differences of hand gesture which incr