汉语统计语言模型的n值分析-中文信息学报.pdfVIP

中　文 　信 　息 　学 　报 第 12 卷 第 1 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vo1. 12 No. 1 汉语统计语言模型的N 值分析①② 张树武 　黄泰翼 中科院自动化所模式识别实验室 ,北京 2728 信箱 100080 ( ) 【摘要】　N 元语言模型 n - gram 作为统计语言处理的主要方法 , 目前在汉语语言处 ( ) 理 词性标注 、字符识别 、语音识别等 中已得到广泛的应用 。但是 ,具体 N 取何值为较优 , 目前尚没有明确的定论 。本文从对汉语短语语法模式的近似表示 、对未登录语词的自动检 测与重构能力 、和实际的音文转换应用系统性能测试三个方面出发 ,综合比较和分析了基 于汉语词的N 元语言模型中N 值的选择 。并得出结论 :对于基于真实词的汉语 N 元语言 模型 ,N 的取值范围应介于 3 至 6 之间 ,且 N = 4 为较优 。这一结论将有助于汉语统计语言 处理的发展 。 【关键词】计算语言学 、语言模型、语音识别 一 、引　论 N 元语言模型作为统计语言处理的主流技术已被广泛应用于语音识别 、词性标注 、文 字识别等实际的语言处理应用中。对于汉语言的处理 ,近几年来国内也有许多研究者采用 和实验了各种模式的N 元语言模型去处理语言研究中的一些实际问题并取得了较好的效 果 。 然而 ,对于 N 值的评价 , 目前尚没有一致的评判准则 。从理论上分析 ,N 值愈大 ,所反 映的语序愈逼近真实的句法模式 ,因而会有更佳的语法匹配效果 。但是从实际应用的角度 考虑 ,N 值的增大又会带来存储资源的急剧扩张和因统计数据稀疏而造成的评估误差 。 事实上 ,对于 N 元语法的N 值确定 ,可以在语句模式的近似表示和计算可行性之间找 到一个有效的折衷 。许多实验表明 ,N 值的不断变大对实际系统性能的改善并非成正比关 ( ) 系 ,而是随 N 值的增大逐渐呈平稳趋势 如图 1 所示 。关键在于寻找一个较优的N 值或 N 取值范围。 图 1N 值对系统性能影响示意 ① 国家自然科学基金资助 。项 目批准号 :695750 18 ② 本文 1997 年 5 月 6 日收到 35 ) 　　对于汉语语言处理 ,N 元语言模型的功能可归结为以下三个方面 。1 对汉语语句模式 的近似表示 ;2) 依联接概率自动求解生词能力 ;3) 对应用系统性能的实际改善 。结合汉语 音文转换系统的构造 ,本文从以上三方面综合分析基于词的汉语 N 元语言模型 N 值范围 的较优取值 。 二 、N 元统计模型对汉语言语法模式的逼近 ( ) N 元语言模型的一般可以用 N 阶马尔可夫链模型来表征 如式 2 - 1 所示 。 n - 1 N P ( W) = P ( W / W …W ) × P ( W / W …W ) 式 2 - 1 i 1 i - 1 i i - n +1 i - 1 i = 1