语言信息处理技术中的最大熵模型方法.pdfVIP

语言信息处理技术中的最大熵模型方法 Method of Maximum Entropy Model for Language Processing 李素建* 刘群 张志勇 程学旗 中国科学院计算技术研究所 （北京 100080 ） 摘 要 最大熵模型作为一种统计方法被有效地应用，可以控制细微特征，具有可重用性，简单易于理解等 优点，在进行汉语信息处理的工作时我们首次引入了该模型。本文通过一个实例引入最大熵的概念，并对 该框架模型进行形式化定义和描述，同时介绍了该模型中进行参数估计和特征选取的算法。 关键词 自然语言处理 最大熵模型 GIS 算法 统计方法 Abstract As a statistical method, the framework of maximum entropy is efficiently used. In its applications the accuracy is at or near the state-of-the-art. The model is easy to understand, and at the same time it can control subtle features and have reusability. The goal of this paper is to provide a brief description of formalism for the principle of the maximum entropy. And some important algorithms for parameter estimation and feature induction.are also introduced. 1 引言 进行汉语处理时经常遇到的问题有：分词、词性标注、语法和语义分析等等。这些自然语言中的问题 都可以形式化为分类问题，估计某一类 y 在上下文 x 中发生的概率，即p(y,x) 。在汉语中上下文x 的内容可 以包括汉字、词、词性等，对于不同的任务上下文的内容也不同。这类问题可以采用统计建模的方法去处 理。首先是采集大量样本进行训练，样本代表了该任务的知识和信息，选取样本的好坏确定了知识完整性 的程度。然后建立一个统计模型，并把样本知识结合到模型中，来预测随机过程将来的行为。 在自然语言处理中有不少统计建模的例子，目前在对英语的处理中，由于最大熵模型的简洁、通用和 易于移植，在统计方法中经常采用该技术[1]。汉语中词性标注和短语边界识别多使用 HMM 的统计模型 [2,3]，还未见有论文或资料谈到使用最大熵的方法。本文结合汉语语言的特点，对最大熵框架模型及其使 用进行介绍。第 2 节通过一个英汉翻译的简单实例引入最大熵模型，第 3 节对最大熵模型进行了形式化描 述，同时介绍了估计模型参数的有效算法。第 4 节对如何为所处理问题选择特征提供了算法。第 5 节总结 了该模型的应用及优点。 2 最大熵模型的简单实例 我们以英汉翻译为例：对于英语中的“take ”，它对应汉语的翻译有： (t1) “抓住”：The mother takes her child by the hand.母亲抓住孩子的手。 (t2) “拿走”：Take the book home. 把书拿回家。 (t3) “乘坐”：to take a bus to work. 乘坐公共汽车上班。 (t4) “量”：Take your temperature. 量一量你的体温。 (t5) “装”：The suitcase wouldn’t take another thing. 这个衣箱不能装别的东西了。 (t6) “花费”：It takes a lot of money to buy a house. 买一所房子要花一大笔钱。 (t7) “理解、领会”：How do you take this package? 你怎么理解这段话？ 假设对于所有的英文”take”，只有这七种翻译。则存在着如下限制： p(t1|x)+p(t2|x)+p(t3|x)+…+p(t7|x)=1 (1) p(ti|x)(1 ≤i≤7)表示在一个含有单词 take 的英文句子中，t