中文信息学报唇读中序列口型的分类.pdf

中　文 　信 　息 　学 　报 第 16 卷 第 1 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 16 No. 1 唇读中序列口型的分类 单 　卫 　姚鸿勋 　高 　文 ( 哈尔滨工业大学计算机科学与工程系 　哈尔滨 　15000 1) 摘要 :本文针对汉语中所有声韵母发音序列中的连续口型提出了一种口型分类的思路 。在建立了覆盖所 有声韵母的汉语双模态语料库的基础之上 ,本文提出了一种两次分类的方法 ,对语料库中的图像进行唇的分 割 、定位及特征提取 ,并依靠选择的特征 ,将声韵母的发音序列中的口型聚为 15 类 。本文的目的是在此分类 的基础上 ,明确唇读识别阶段的状态数 ,减小搜索的空间 ,提高收敛速度 。 关键词 :唇读 ;双模态语料库 ; 口型聚类 ;语音识别 中图分类号 : TP39 1. 42 Sequence Mouth Shape Classif ication f or Speechreading SHAN Wei 　YAO Hongxun 　GAO Wen (Depart ment of Computer Science ,Harbin Instiute of Technology 　15000 1) Abstract :This p ap er describes an approach of classifying t he continuous mout h shap es ,which are obtained from se quence images of Chainese pronunciation of vowel and consonant . Based on t he audiovisual bimodal database ,we pre sent a classifying met hod called TwoStep Classification . First ,we located t he lip and extract t he features using adap tive chromatic filter model . Then ,relying on t he features chosen ,we classify t he sequence mout h shap es into 15 cate gories. The purpose of mout h shap e classification is to confirm t he mumber of states ,shrink searching sp ace and exp e dite convergence sp eed for lipreading recognition . Keywords :Lipred ;Bimodal Database ;Mout h Shap e Classification ;Voice Recognition 一 、引言 随着新一代人机交互技术的发展 ,语音识别技术已经成为实现自然人机交互的主流技术 。 但即使是最优秀的语音识别技术在噪声环境中和多话者条件下其识别率也将大大的下降。而 唇读技术的目的就是通过视觉通道的信息补充听觉通道丢掉的信息 。计算机唇读是指通过建 立口型模型和分析运动参数 ,定量地处理唇动信息辅助进行语音识别[ 1～2 ] ,或者是直接对序 列图像进行分类和识别 , 以提高语音识别技术的准确率及鲁棒性 。 唇读识别中较常使用的方法是基于特征向量法 , 即把提取的特征作为向量进行 HMM 的 状态匹配 。这样做的缺点是状态不确定 ,搜索的时间和空间规模较大 ,很难做到识别的实时 性 。 另一种方法是基于口型分类法 。人在发相同的音时 , 口型是基本不