关于多流多状态动态贝叶斯网络的音视频连续语音识别.pdfVIP

第30卷第 l2期 电 子 与 信 息 学 报 Vb1．30NO．12 2008年 12月 JournalofElectronics＆ InformationTechnology Dec．2008 基于多流多状态动态贝叶斯网络的音视频连续语音识别 吕国云① 蒋冬梅① 张艳宁① 赵荣椿① HSahli② IlseRavyse② W Verhelst② f西北工业大学计算机学院 西安 710072) (布鲁塞尔自由大学电子与信息处理系 布鲁塞尔 B一1050 比利时) 摘 要：语音和唇部运动的异步性是多模态融合语音识别的关键问题，该文首先引入一个多流异步动态贝叶斯网络 fMS．ADBN)模型，在词的级别上描述了音频流和视频流的异步性，音视频流都采用了词一音素的层次结构。而多流 多状态异步DBN(MMADBN)模型是MS—ADBN模型的扩展，音视频流都采用了词一音素一状态的层次结构。本质 上，MS．ADBN是一个整词模型，