一种词义与词的混合语言模型及其应用.pdfVIP

中　文 　信 　息 　学 　报 第 15 卷 第 6 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 6 一种词义与词的混合语言模型及其应用① 侯 　　 　王作英 (清华大学电子工程系 　北京 　100084) 摘要 :本文提出了一种基于词和词义混合的统计语言模型 ,研究了这个模型在词义标注和 汉语普通话语音识别中的性能 ,并且与传统的词义模型和基于词的语言模型进行了对比。这 个模型比传统词义模型更准确地描述了词义和词的关系 ,在词义标注中具有较小的混淆度 ;在 汉语普通话连续音识别中 ,这个词义模型的性能优于基于词的三元文法模型 ,并且需要较小的 存储空间。 关键词 :统计语言模型 ;词义模型 ;词义标注 ;语音识别 中图分类号 : TP39 1 A Hybrid Semantic and Word Based Language Model and Its Appl ications HOU J un 　WAN G Zuoying ( Elect ronic Engineering Dep art ment , Tsinghua U niver sit y 　Beij ing 　100084) Abstract :A hybrid semantic and wor d based language model is brought forwar d in t his p aper . The performance of t he model is tested in semantic t agging and Mandarin speech recognition ,and com p ared wit h t raditional Ngram and semantic lan guage models. The hybrid model better describes t he relation between semantics and wor ds and achieves a lower perplexit y in t agging corp us. In Mandarin speech recognition , t his model show s a better performance and requires less memory sp ace t han t he wor d based t rigram model . Key words :st atistical language model ; semantic and wor d based language model ; semantics t ag ging ;speech recognition 一 、引言 语言模型可以分为基于统计的和基于规则的两大类 。近年来随着语料库不断增大 ,统计 ① 收稿 日期 :200 1 - 04 - 29 ;修改稿收到日期 :200 1 - 06 - 18 ( ) ( ) 本文属国家“九八五”重大项 目 人机 自然语言交互技术 985 校22攻关06 作者侯　 ,女 ,1974 年生 ,清华大学电子工程系硕士研究生 。主要研究方向为语音识别 ,语言理解 。王作英 : 男 , 1935 年生 , 清华大学电子工程系教授 、博士生导师 。主要研究方向为语音识别 ,语音信号处理 。 7 ( ) 语言模型特别是 N 元文法 NGram 语言