中文信息学报多模式汉语连续语音识别中视觉特征的提取和应用Ξ.PDFVIP

中　文 　信 　息 　学 　报 第 18 卷 第 4 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No4 ( ) 文章编号 :1003 - 0077 2004 04 - 0079 - 06 多模式汉语连续语音识别中视觉特征的提取和应用 1 2 刘 　鹏 ,王作英 (清华大学 电子工程系网络与人机语音通信研究所 ,北京 　100084) 摘要 :本文对在汉语多模式汉语语音识别系统中利用视觉特征进行了研究 ,给出了基于多流隐马尔科夫 ( ) 模型 Multistream HMM , MSHMM 的听视觉融合方案 ,并对有关视觉特征的两项关键技术 :嘴唇定位和视觉特 征提取进行了详细讨论 。首先 ,我们研究了基于模板匹配的嘴唇跟踪方法 ;然后研究了基于线性变换的低级 视觉特征 ,并与基于动态形状模型的特征作了比较 ;实验结果表明 ,引入视觉信息后无噪环境下语音识别声学 层首选错误率相对下降3609 % ,在噪声环境下的鲁棒性也有明显提高 。 关键词 :计算机应用 ; 中文信息处理 ;多模式 ;听 - 视觉融合 ;视觉特征提取 ;鲁棒性 中图分类号 :TP391 　　　文献标识码 :A To Extract and Apply Visual Features in Mandarin Multimodal Continuous Speech Recognition LIU Peng , WAN G Zuoying (Department of Electronic Engineering , Tsinghua University , Beij ing 100084 ,China) Abstract : In this paper , we investigate on the using of visual feature in Mandarin multimodal speech recognition . The au diovisual fusion strategy based on multistream hidden Markov model is presented. Then key technologies about visual fea ture , including lip location and visual feature extraction , are discussed. Firstly , we research on the lip location algorithm based on model matching and the low Subsequently , the lowlevel visual feature based on linear transform is investigated and compared to the highlevel visual feature based on active shape models. It is shown by experiments that the word error rate of the first candidate of acoustic level is reduced by 3609 % relatively with visual feature