基于运动轨迹和手型特征的手语识别研究-信息与通信工程专业论文.docxVIP

优秀毕业论文 精品参考文献资料 摘要摘要 摘要 摘要 手语是聋哑人日常生活的主要语言，同时也是他们和正常人交流的主要方 式之一。而大多数正常人并未经过专业的手语培训，使得聋哑人无法同其进行 无障碍地交流。为了解决这个问题，从上世纪90年代开始便有许多学者开始从 事手语识别的研究，旨在将手语动作通过计算机编程实现将其转换为便于正常 人理解的文本或者语音信息。因此手语识别具有极大的社会意义。 在手语识别领域，有两个至关重要的问题。一是如何获取并设计鲁棒高效 的手语动作特征，二是如何对手语动作特征建立鲁棒的识别模型。对于第一个 问题，从昂贵复杂的数据手套到颜色手套再到体感设备，数据获取越来越方便 可行，特征设计主要从运动轨迹和手型变化上进行描述。对于第二个问题，对 手语动作进行建模识别主要是借鉴于语音识别，利用机器学习理论中的一些模 型。例如利用可以计算不等长序列相关性的动态时间规整算法以及机器学习模 型支持向量机、高斯混合模型、隐马尔科夫模型、条件随机场、人工神经网络 等等。基于此两个出发点本文的主要工作可归纳如下： 首先，手语动作特征包括手语动作的轨迹特征和手型特征。轨迹特征包括 运动的方向，运动轨迹的形状，以及运动轨迹的位置。手语动作的运动方向利 用方向位移直方图刻画，将空间分成多个二维平面考虑手部在平面中各个方向 的位移量，组合所有方向的直方图最终对方向信息进行表达。运动轨迹的形状 本文提出采样形状上下文描述子进行刻画，在提取轨迹特征的形状上下文信息 时需要对轨迹进行预处理，即基于密度的上采样处理，使得轨迹形状看起来更 加的均匀平滑，最后再对每一个采样点进行形状上下文描述子的提取。对于轨 迹的位置信息，本文采用非手骨骼点相对于手部骨骼点的位置进行刻画。在手 型描述中，经过对视频信息的预处理，获取以手部骨骼点为中心的局部区域， 区域中包含了手型，再对其提取HOG特征，最终将手语序列的手型特征利用 HOG特征序列描述。 其次，我们提出的自动确定隐状态数目的FHMM模型可以根据手语动作本 身特性自动确定建模所需参数。我们利用手型之间的特征差异将视频中的手分 成若干段，其中相似的手型归为同一段。由于在特征描述中的不同，不同的特 征适用于不同的识别模型，因此还需要对多个特征的识别结果进行融合。本文 提出了两种融合方法，一种为基于帧平均概率的计算方法，另一种为对输出概 率进行重新建模分析的方法。实验证明基于可变隐状态数目的模型具有较好的 识别结果，结合适当的结果融合方法也能一定程度提高手语识别正确率。 此外，我们将部分算法整合到系统当中，搭建了实时手语识别演示系统。 并对我们的数据采集系统和演示系统进行了简要的介绍。 l 万方数据 摘 摘 要 关键词： 手语识别，运动轨迹特征，手型HOG特征，可变隐状态数，隐马尔 科夫模型，支持向量机，结果融合 II 万方数据 ABSTRACTABSTRACT ABSTRACT ABSTRACT Sign language is the main modality of communication in deaf and mute society． It is also one of the most important ways for communication between normal people and the deaf．The deaf can not communicate with the normal smoothly for the sake of the lack of training in sign language for the normal．To address the problem，lots of researchers have devoted lots of research efforts to sign language recognition since the 1 990s．The goal is to transform the sign language to the text or speech by computer programming，SO that the normal people can understand them．Hence，sign language recognition has a significant social impact． In sign language recognition，there are two critical problems．One is how to collect and design the robust sign features，while the other is ho