基于多流动态贝叶斯网络的音视频连续语音识别.pdfVIP

2008年8月 西北工业大学学报 Aug． 2008 ofNorthwestern V01．26No．4 第26卷第4期 Journal PolytechniealUniversity 基于多流动态贝叶斯网络的音视频连续语音识别 吕国云1，蒋冬梅1，赵荣椿1，张艳宁1，HSahli2，蒋晓悦1 摘 要：针对说话时发音和口形的异步问题，提出了一个多流异步动态贝叶斯网络(Dynamic BayesianNetwork，DBN)模型，以实现基于音视频特征的连续语音识别，在这个模型中，音频流和 视频流在词节点同步，而在词节点之间，音视频流有各自独立的拓扑结构以及节点变量之间的条件 依赖关系，同时词转移节点变量由音视频流共同确定，模型在词级别上体现了音视频流的异步性。 采用连续数字音视频数据库的实验结果表明，在信噪比为o～30dB的测试环境下，比较单流DBN 模型和多流隐马尔可夫模型，平均识别率分别提高了8．68％和10．07％。 关键词：多流异步；动态贝叶斯网络；音视频；语音识别 中图分类号：TP391．42文献标识码：A 文章编号：1000—2758(2008)04—0518—06 多模态音视频信号处理是近年来语音识别研究 Gowdy各自建立了一个多流DBN模型r7墙】，可使不 的一个新的热点。融合说话时语音的听觉和视觉语 同的流在词节点同步，而在词节点之间，各个流有独 音信息，能够提高语音信号在噪声环境下的识别率 立的变量节点和拓扑结构，在词的级别上体现了视 和对噪声的鲁棒性[1]。然而心理声学和听视觉语音 觉语音信号中音视频流的异步性。但在文献[7，8] 识别的实验结果表明：人说话时唇部运动虽然和语 中，词转移概率节点变量仅仅由第1个流(音频流) 音信号相关，但是并不同步，唇部视觉运动要平均先 决定，且在词节点之间，2个流之间并非完全独立， 于声音信号大约120ms左右[2]。考虑音视频信号之相互之间有条件概率关系存在，限制了两流之间的 间的异步性，目前主要的音视频融合处理模型为多 异步性。本文提出了一个新颖的多流异步动态贝叶 MarkovModel， DBN，MS— 流异步隐马尔可夫(Hidden 斯网络(Multi—StreamAsynchrony HMM)和乘积HMMc3“]模型，模型允许音频流和视ADBN)模型，在这个模型中，音频流和视频流在词 频流在某些阶段点(状态、音素、音节)被强制同步， 节点同步，词节点的转移概率由音频流和视频流来 在一定程度上描述了音视频流之间的异步性，但是 共同决定，而在词节点之间，音视频流有各自独立的 由于HMM表达能力的局限性，特别在大中词汇量 变量节点和概率依赖关系，在词的级别上体现了音 的音视频连续语音识别中，这些模型只能用于音素 视频流的异步性。最后采用这个模型了语音识别实 级的同步及异步关系的建模，然而在很多情况下音 视频数据流的异步程度实际上已超越了音素的边 在相同条件下的语音识别结果进行了比较，结果表 界口]，允许音视频流在更长的时间内(如音节和词) 明MS—ADBN模型具有更好的性能。 内异步，应该会带来更好的识别效果。近年来， Bilmes、Zweig等人采用单流和多流的动态贝叶斯 1基于多流异步动态贝叶斯网络的音 网络(DynamicBayesianNetwork，DBN)模型来进 视频连续语音识别模型 行连续语音的识别研究Es～7]，相比HMM，DBN模型 具有更加灵活的结构和对时序序列模型更强的表达 动态贝叶斯网络是一个有向图模型，是