论规则规约概率及统计约束文法的语言模型.pdfVIP

第36卷 南京大学学报(自然科学) v01．36 UNⅣERSllrY NANJ列G 7RNALoF 计算机专辑 JoI Compu船l嚣uc 20∞年11月 (N棚mAL Nov．21)00 SCIENCES) 论规则规约概率及统计约束文法的语言模型’ 刘祖斌 (上海交通大学电信学院．上海，200030) 史忠植 (中国科学院计算技术研究所．北京，1000鲫) ■要在统计文法的参数估计中有规则推导概率和规则归约概率两种．本文首先指出，即使 对于羡计上下文无关文法PCFG．规则|日约撮率也不适台于参数估计．在自然语言处理中． 广泛使用的是基于属性值约柬文；：去．基于规丑目推导概率的柔性模型是一种较好适用于PcFG 规则概率估计的模型，但不适用于对约柬文法规剐曲概率估计．本文在规则概率中引^非概 率的因素——约柬因子．表示规则的前件之问的相互约柬力，并给出一种基于非帕斯卡氍率 的语言模型． 美t词统计约束文法参数估计语言模型 0引言 柯恩将概率从结构上区分为帕斯卡概率和非帕斯卡概率，认为它们是两种并驾齐驱、 并行不悖的概念．并明确指出帕斯卡概率和非帕斯卡概率有各自的适用范围．倒如，帕 斯卡概率在博奔理论或对策论、保险、统计推断、信号传输理论等领域比较适用。而非 帕斯卡概率在科学方法论领域、语言学的语法领域、医疗诊断领域等有广泛的适用性I”。 IJcAl‘99最佳论文奖获得者Rdlll指出，在其NLP中的各种学习模型可咀用线性阑 值单元(Iim盯mr瞄hoIde1哪叫)表示吼这些模型中如对数线性模型是完全依赖于满足 suppon)的问题．我们认为非 概率公理的帕斯卡概率，没有考虑到归纳支持(Illdu咖e 帕斯卡概率就是在概率估计中引入非概率的因素，其中一个很常见的非概率园素就是所 考虑的如症状、前提条件假设之问的桓互约束力． 我们知道，上下文无关文法的规则所描述的文法符号之间的关系既可以理解为规则 左边符号串推导出右边符号串．也可以理解为规则的右边符号串归约为其左边符号串j 也就是在统计文法的参数估计中有规则推导概率和规则归约概率两种拼．本文首先指出， 即使对于统计上下文无关文法PCF0，规则归约概率也不适合于参数估计． 在自然语言处理中．广泛使用的是基于属性值约束文法．基于规则推导概率的乘性 ’第一作者俺介：刘租斌．男．19醴年生，博士生．主要研究自然语育理解和分布式协作系统的 实现． 南京丈学拳报(自箍科学) 第撕眷 模型是一种较好适用于PcFG规则概率估计的模塑。但不适用于对约柬文法规则的概率 估计．本文在规则概率中引入非概率的因素——约束因子，表示规则的前件之问的相互 约束力，并给出一种基于非帕斯卡概率的语言模型。 l统计CFG 1．】统计aG的秉性摸型 给出如下的上下文无关文法G1： 2．S斗B 3．A_a4．A—b 5．B斗aa 6．B斗b (I)1．S—AA b。设其 对应12个样本的语料库。 c=4x 2x 3x 3x =l q=“12 2，12 3，12 3，12 圈l 一个简单分析了的语料库 R山e 根据期望规则频率(Expect