手语研究方向.docVIP

手语研究方向 1手语的识别 手语的识别不但具有深远的研究意义，而且具有广阔的实际应用前景，至少表现在以下几个方面：（1）能够使得聋哑人，尤其是使得文件程度比较低的聋哑人，使用手语和正常人交流；（2）从认知科学的角度，研究人的视觉语言理解的机制，提高计算机对人类语言的理解水平；（3）利用手势控制VR中的智能化；（4）机器人的示范学习；（5）虚拟现实系统中的多模式接口等。 从手语输入设备来看，手语识别系统主要分为基于数据手套的识别和基于视觉（图像）的手语识别系统。基于数据手套的手语识别系统，是利用数据手套和位置跟踪测量手势在空间运动的轨迹和时序信息。这种方法的优点是系统的识别率高。缺点是打手语的人要穿戴复杂的数据手套和位置跟踪器，并且输入设备比较昂贵。利用数据手套等典型传感设备的方法，台湾大学的Liang等人利用单个VPL数据手套作为手语输入设备，可识别台湾手语课本中的250个基本词条，识别率为90.5%。CMU的ChristopherLee和Xu在1995年完成了一个操纵机器人的手势控制系统。Kadous用PowerGloves作为手语输入设备，识别有95个孤立词构成的词汇集，正确率为80%。基于视觉的手势识别是利用摄像机采集手势信息，并进行识别。该方法的优点是输入设备比较便宜，但识别率比较底，实时性较差，特别是很难用于大词汇量的手语录的识别。在基于视觉的方法方面，具有代表性的研究成果包括：1991年富士通实验室完成了对46个手语符号的识别工作。Davis和Shah将戴上指间具有高亮标记的视觉手套的手势作为系统的输入，可识别7种手势。Starner等在对美国手语中带有词性的40个词汇随机组成短句子识别率达到99.2%。Grobel和Assam从视频录像中是取特征，采用HMM技术识别262个孤立词，正确率为91.3%。此外，Vogler与Metaxas将两种方法结合用于美国手语识别，交互采用一个位置跟踪器及三个互相垂直的摄像机作为手势输入设备，完成了53个孤立词的识别，识别率为89.9%。 从识别技术来看，以往手语识别系统主要采用基于人工神经网络（ANN）及基于隐Markov模型（HMM）等方法。神经网络方法具有分类特性及抗干扰性，然而由于其处理时间序列的能力不强，目前广泛用于静态手势的识别。著名的Fels的GloveTalk系统采用神经网络方法作为识别技术。对于分析区间内的手语信号，通常采取HMM方法进行模型化。HMM是众周知并广泛使用的统计方法，一般拓扑结构下的HMM具有非常强的描述手语信号的时空变化能力，在动态手势识别领域一直占有主导地址，如卡内基·梅隆大学的美国手语识别系统及台湾大学的台湾手语识别系统等均采用HMM作为系统的识别技术。另外，Grobel与Assam利用HMM识别由戴有色手套的用户通过摄像机输入的262个孤立手语词，正确率为91.3%。然而正是由于HMM拓扑结构的一般性，导致这种模型在分析手语信号时过于复杂，使得HMM训练和识别计算量过大。尤其是在连续的HMM中，由于需要计算大量的状态概率密度，需要估计的参数个数较多，使得训练及识别的速度相对较慢。因而以往手语识别系统所采用的HMM一般为离散HMM。 在我国，哈尔滨工业大学的吴江琴、高文等给出了ANN与HMM的混合方法作为手语的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数的个数。将ANN-HMM混合方法应用于有18个传感器的CyberGlove型号数据手套的中国手语识别系统中，孤立词识别率为90%，简单语句级识别率为92%。接下来高文等又选取Cyberglove型号数据手套作为手语输入设备，并采用了DGMM（dynamicGaussianmixturemodel）作为系统的识别技术，即利用一个随时间变化的具有M个分量的混合GaussianN-元混合密度来模型化手语信号，可识别中国手语字典中274个词条，识别率为98.2%。与基于HMM的识别系统比较，这种模型的识别精度与HMM模型的识别精度相当，其训练和识别速度比HMM的训练与识别速度有明显的改善。他们为了进一步提高识别速度，识别模块中选取了多层识别器，可识别中国手语字典中的274个词条，识别率为97.4%。与基于单个DGMM的识别系统比较，这种模型的识别精度与单个DGMM模型的识别精度基本相同，但其识别速度比单个DGMM的识别速度有明显的提高。2000年在国际上他们首次实现了5000词以上的连续中国手语识别系统。另外，清华大学祝远新、徐光等给出了一种基于视觉的动态孤立手势识别技术，借助于图像运动的变阶参数模型和鲁棒回归分析，提出一种基于运动分割的图像运动估计方法。基于图像运动参数，构造了两种表现变化模型分别作为手势的表现特征，利用最大最小优化算