一种新的基于统计的词典扩展方法ξ-中文信息学报.pdf

中　文 　信 　息 　学 　报 第 15 卷 第 5 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 15 No. 5 一种新的基于统计的词典扩展方法 周正宇 　李宗葛 (复旦大学计算机科学系 　上海 　200433) 摘要 :在建立统计语言模型时 ,往往会遇到词典的词汇量不够的问题 。对于医学等专业领 域的语料 ,这一问题尤为严重 。针对这一问题 ,本文提出了一种新的基于统计的识别新词方法 ———右边缘扩展法 。该方法对分词后的语料中产生的连续单字词进行关联范数估计 ,利用右 边缘扩展的方法判断词的边界 。在实验中 ,我们将右边缘扩展法与基于 WittenBell back off 方法的两两合并法相结合 ,循环地调整词典 ,优化语言模型 。实验结果表明 ,该算法具有很高 的识别正确率与检出率 ,可以有效地识别出语料中出现的新词汇 ,尤其是专业术语 。 关键词 :词典 ;关联范数估计 ;右边缘扩展法 ;语言模型 中图分类号 : TP39 1 A Ne w Statistical Method of Automatic Lexicon Augmentation ZHOU Zhengyu 　L I Zongge (Dep art ment of Comp uter Science 　Fudan U niver sit y 　Shanghai 　200433) Email : zhouzhengyu @fudan . edu Abstract :The outofvocabulary p roblem is one of t he bottlenecks in Chinese L anguage Modeling . The p roblem is especially serious for domainspecific t raining dat a set . This p aper p resent s a new st atistical met hod to ext ract new wor ds from t he t raining dat a . This new met hod is based on asso ciat ion nor m es t i m at ion , and searches for t he wor d boundaries by rig ht bou n dary exp an di ng . Combining t he new met hod wit h anot her wor dmerging met hod ,we can iteratively optimize t he lexicon ,segment ation and language model . And very encouraging result s are reported in our exper iment s. Key words :lexicon ;association norm estimation ;right boundary exp anding ;language model 一 、引言 基于统计的语言模型在语音识别与中文信息检索等领域中有着广泛的应用 。但是 , 由于 收稿 日期 :200 1 - 04 - 19 ;修改稿收到日期 :200 1 - 06 - 25 作者周正宇 ,女 ,1976 年生 ,硕士研究生 ,主要研究领域 : 自然语言处理 ,语音识别. 李宗葛 , 男 , 1943 年生 ,教授 ,主要 研究领域 :语音识别和语音合成 , 自然语言处理. 46 中文的特殊性 ,有一个瓶颈问题一直未得到满意的解决 ,即词典的不完备性