低成本手语手套设计与中等词汇量连续手语识别.pdf

低成本手语手套设计与中等词汇量连续手语识别 计算机科学与信息技术 高中组 个人项目 0 摘要 手语是聋哑人与世界交流的桥梁，随着计算机技术的发展与智能化的普及，对手语 识别的研究也层出不穷，现今主要的研究方法有基于机器视觉与基于佩带式输入设备两 种。相较于基于机器视觉的手语识别，基于佩带式输入设备的手语识别有可以实时得到手 指的弯曲、外展情况与手型信息的优点。论文运用了语音识别中的新技术，建立了深度神 经网络-隐马尔可夫混合模型 （DNN-HMM ），设计并制作了低成本低功耗的手语手套， 以动态时间规整 （DTW ）、单高斯隐马尔可夫模型 （GMM-HMM ）、深度神经网络-隐马 尔可夫混合模型 （DNN-HMM ）作为识别方法，探究最适合中等词汇量连续手语识别的算 法。在电脑上完成模型的训练后将模型参数反灌至智能终端，通过编写的译码程序完成实 时手语识别。论文研究发现在涉及的模型中，可以使用去除左手弯曲传感器的17 维数据 代替包含左手弯曲传感器的22 维数据进行模型的训练与识别，不会影响最终的准确率。 这样不仅可以降低算法时间复杂度，还可以降低成本；使用深度神经网络代替单高斯模型 进行隐马尔可夫模型的观测概率计算可以提高识别准确率，在没有语法时提高效果更为显 著，符合手语识别的发展趋势。论文通过设计的训练模型与译码程序，在智能终端上完成 了手语的实时识别，识别准确率可以达到97% 以上。 关键词：低成本；低功耗；DTW；GMM-HMM；DNN-HMM；中等词汇量； 连续手语识别 1 目录 摘要 1 第1 章 引言4 1.1 研究意义4 1.2 手语识别研究概况4 1.2.1 基于佩带式输入设备的手语识别4 1.2.2 基于机器视觉的手语识别 5 1.3 论文目的 6 1.4 主要创新点 7 第2 章手语手套硬件设计 8 2.1 设计综述 8 2.2 电阻向电压的转换 11 2.3 串口的使用 14 2.4Arduino 数据的传送 15 2.5 电源的设计 18 2.6 功能的验证 19 第3 章数据采集与识别系统设计 21 3.1 设计综述 21 3.2 数据的接收与存储 22 3.3 数据的处理与分析 24 3.4 样本录制与显示 26 3.5 类与类之间的调用关系 28 第4 章算法的应用与分析 30 4.1 算法设计综述 30 4.2 动态时间规整的应用 31 4.3 隐马尔可夫算法的应用 32 2 4.4 深度神经网络的应用 39 4.5 数据分析41 第5 章实时译码43 5.1 实时译码的意义43 5.2 DTW 的实时译码44 5.3 HMM 的实时译码46 5.4 实时译码小结 52 第6 章结论与展望 53 6.1 结论 53 6.2 展望 54 第7 章参考文献 55 第8 章致谢 57 3 第1 章 引言 1.1 研究意义 手语是由手形、手臂运动并辅之以表情、唇动以及其它体势来表达思想的人体语言， [1] 具有规范的语法、明确的语义和完备的词汇体系。 中国手语主要分为两类：手指语和手 势语。手指语是用手指的轨迹描述一个汉语拼音字母，并按照汉语拼音规则构成的语言。 手势语是以模拟事物的形状、动作为主要手段，并辅以姿态和表情来表达的语言。手语识 别的目标主要是将手指语与手势语转化为文本或者语音一类的自然语言，从而使聋人与听 力正常人之间的交流畅通无阻。我国目前有2000 多万聋人，对手语识别的研究，无疑将 直接造福于这个群体，为其提供一种更加自然、更加方便快捷地与健听人交流的途径，以 便他们更好地融入社会，这也将对构建多元关爱的