基于多流多状态动态贝叶斯网络的音视频连续语音识别.pdfVIP

第30卷第 l2期 电 子 与 信 息 学 报 Vb1．30NO．12 2008年 12月 JournalofElectronics＆ InformationTechnology Dec．2008 基于多流多状态动态贝叶斯网络的音视频连续语音识别 吕国云① 蒋冬梅① 张艳宁① 赵荣椿① HSahli② IlseRavyse② W Verhelst② f西北工业大学计算机学院 西安 710072) (布鲁塞尔自由大学电子与信息处理系 布鲁塞尔 B一1050 比利时) 摘 要：语音和唇部运动的异步性是多模态融合语音识别的关键问题，该文首先引入一个多流异步动态贝叶斯网络 fMS．ADBN)模型，在词的级别上描述了音频流和视频流的异步性，音视频流都采用了词一音素的层次结构。而多流 多状态异步DBN(MMADBN)模型是MS—ADBN模型的扩展，音视频流都采用了词一音素一状态的层次结构。本质 上，MS．ADBN是一个整词模型，而MM—ADBN模型是一个音素模型，适用于大词汇量连续语音识别。实验结果 表明：基于连续音视频数据库，在纯净语音环境下，MM—ADBN比MS—ADBN模型和多流HMM 识别率分别提高 35．91％和 9．97％。 关键词：语音识别；动态贝叶斯网络；音视频；多流异步 中图分类号：TP391．42 文献标识码：A 文章编号：1009—5896(2008)12—2906—06 DBN BasedM ulti-stream M ulti．statesM odelforContinue Audio．VisualSpeechRecognition LfiGuo-yun① JiangDong—mei∞ ZhangYan—ninge ZhaoRong-chun H Sahli② IlseRavyse② W Verhelst② ①(Northwester，Polytechnic。fUniversit， SchDD1ofComputerScience，Xi，0n710072，Chin) ②(VrijeUniversiteitBrusse1 ， Dep0rtmentETRO，BrussezB-1050，Belgium) Abstract：Asynchrony ofspeech and lip motion isa key issueofmulti—modelfusion Audi-oVisualSpeech Recognition(AVSR)．Inthispaper，aMulti—StreamAsynchronyDynamicBayesianNetwork(MS—ADBN)modelis introduced，whichloosestheasynchronyofaudioandvisualstreamstothewordlevel，andbothinaudiostream andinvisualstream ，word—phonetopoloyg structureisused．However，Multi-stream Multi-statesAsynchronyDBN (MM—ADBN)modelisna augmentationofMulti—Strema DBN (MS—ADBN)model，isproposedforlarge vocabularyAVSR，whichadoptsword-phone-statetopoloyg structureinbothaudiostream andvisualstream．In essential，MS—ADBN modelisawordmodel，na dwhileMM—ADBN modelisaphonemodelwhoserecog