基于SRNHMM的非特定人连续手语识别系统A.PDFVIP

1000-9825/2002/13(11)2169-07 ©2002 Journal of Software 软 件 学 报 Vol.13, No.11 基于SRN/HMM 的非特定人连续手语识别系统 1 1,2 1 3 2 方高林 , 高 文 , 陈熙霖 , 王春立 , 马继勇 1(哈尔滨工业大学 计算机科学与工程系,黑龙江 哈尔滨 150001); 2( 中国科学院 计算技术研究所,北京 100080); 3(大连理工大学 计算机科学与工程系,辽宁 大连 116023) E-mail: {fgl,wgao,xlchen,chlwang,jyma}@ 摘要: 手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音. 目前最新发展水平的手语 识别系统在实际应用中应解决非特定人连续手语问题.提出一种将连续手语识别分解成各孤立词识别的分治 方法,用于非特定人连续手语识别.把精简循环网(simple recurrent network, 简称SRN)作为连续手语的段边界检 测器,把SRN 分段结果作为隐马可夫模型(hidden Markov models, 简称HMM)框架中的状态输入,在HMM 框架 里使用网格Viterbi 算法搜索出一条最佳手语词路径.实验结果表明,该方法的识别效果比单纯使用HMM 要好. 关 键 词: 神经网络;精简循环网络;隐马可夫模型;连续手语识别;非特定人手语识别 中图法分类号: TP391 文献标识码: A 手语是聋人交际的一种最常用的工具.手语识别的目标就是通过计算机提供一种有效而准确的机制,将手 语翻译成文本或语音,使得聋人和听力正常人之间的交流变得更方便、更快捷.它已经成为人机接口领域的一 项最重要研究内容之一.此外,手语识别还有许多其他应用,例如,在虚拟环境通过识别人的手势去控制虚拟人 的运动,在虚拟现实作为多模式用户接口等等. 最初进行自动手语识别的尝试始于20 世纪90 年代,但是大部分手语识别研究者主要集中在孤立手语词识 别研究上, 对于连续手语识别的研究则很少.Starner[1] 使用固定在桌面上的彩色相机作为输入设备, 采用 HMM(hidden Markov models)方法识别由40 个手语词组成的句子,识别正确率达92%;如果将相机固定在用户 的帽子上,对句子进行严格的语法限制,在实时情况下识别率能达到 98%.Liang 和 Ouhyoung[2]使用数据手套作 为输入设备,HMM 作为识别技术,能够识别手语者打出由 250 个台湾手语词组成的连续句子,但是它要求打手 语的速度比正常的速度慢.Vogler 和 Metaxas[3]使用计算机视觉方法提取手语者手的三维运动变量,将视觉的方 法与HMM 结合识别由53 个手语词组成的连续句子.为了克服“运动插入”影响,使用上下文相关模型,识别率达 89.9%.此外,他们以音素为基元识别连续句子[4],使用22 个手语词组成的句子做实验,得到与词作为基元相似的 识别结果.我们前面的工作在文献[5]中已经进行了描述,使用数据手套作为输入设备,采用HMM 模型识别技术, 在特定人手语识别方面,识别 5 177 个孤立手语词,正确率达 94.8%;可以识别由该词汇集中词组成的 200 个句 子,正确率达91.4%. 从前期研究来看,对连续手语的研究都集中在特定人方面,而对非特定人连续手语识别的研究在文献中还 收稿日期: 2001-04-12; 修改日期: 2001-07-13 基金项目: 国家自然科学基金资助项目; 国家 863 高科技发展计划资助项目(863-306-ZD03-01-2); 中国科学院百人 计划资助项目 作者简介: 方高林(1975 －), 男,安徽庐江人,博士生,主要研究领域为模式识别,统计语言模型,人工智能;高文(1956 －), 男,博士, 教授,博士生导师,主要研究领域为多媒体数据压缩, 图像处理,计算机视觉,多模式接口,人工智能,虚拟现实;陈熙霖(1965 －), 男,博士, 教授,博士生导师,主要研究领域为计算机视觉,多模式接口,虚拟现实;王春立( 1972 －),女,河