【本科毕业设计】_最大熵模型和条件随机场在自然语言处理中的应用.pdf

目 录 第 1 章 绪论 1 1.1 本文研究的背景和意义 1 1.2 国内外研究历史现状及其分析 1 1.3 本文研究工作概述 2 1.4 本文的组织结构 2 第 2 章 最大熵模型 3 2.1 最大熵模型概述 3 2.1.1 条件最大熵 3 2.1.2 特征 3 2.1.3 特征模板 4 2.2 最大熵模型的理论推导 5 2.3 优化方法 6 2.3.1 GIS 6 2.3.2 IIS 6 2.4 最大熵模型在 自然语言处理中的应用 7 第 3 章 条件随机场 11 3.1 条件随机场的思想 11 3.2 条件随机场的推断 12 3.3 条件随机场的参数估计 13 3.4 优化方法 13 3.4.1 Newton法 13 3.4.2 BFGS 14 3.4.3 LBFGS 15 3.5 条件随机场在 自然语言处理中的应用 17 第 4 章 实验 21 4.1 实验数据 21 4.2 实验结果 21 4.2.1 最大熵模型 21 V 4.2.2 条件随机场 22 4.2.3 SIGHAN Bakeoff 4 25 4.3 实验结果分析 25 第 5 章 总结和展望 27 参考文献 29 致 谢 31 声 明 33 在学期间参加课题的研究成果 35 VI 第 1 章 绪论 1.1 本文研究的背景和意义 自然语言处理是计算机科学领域与人工智能领域 中的一个重要方 向。它研 究能实现人与计算机之 间用 自然语言进行有效通信 的各种理论和方法。语言是 人类区别其他动物的本质特性。在所有生物中，只有人类才具有语言能力。人类 的多种智能都与语言有着密切 的关系。人类 的逻辑思维以语言为形式，人类 的 绝大部分知识也是 以语言文字 的形式记载和流传下来 的。因而，它也是人工智 能的一个重要，甚至核心部分。用 自然语言与计算机进行通信，这是人们长期 以 来所追求的。因为它既有 明显的实际意义，同时也有重要的理论意义：人们可 以 用 自己最习惯 的语言来使用计算机，而无需再花大量 的时间和精力去学习不很 自然和习惯 的各种计算机语言；人们也可通过它进一步 了解人类 的语言能力和 智能的机制 。 大约90年代开始，自然语言处理领域发生 了巨大变化 。这种变化 的两个 明 显的特征是： 1)对系统输入，要求研制的 自然语言处理系统能处理大规模的真实文本，而 不是如 以前的研究性系统那样，只能处理很少的词条和典型句子。只有这样，研 制的系统才有真正的实用价值 。 2)对系统的输 出，鉴于真实地理解 自然语言是十分 困难的，对系统并不要求 能对 自然语言文本进行深层的理解，但要能从中抽取有用的信息。例如，对 自然 语言文本进行 自动地提取索引词，过滤，检索，自动提取重要信息，进行 自动摘 要等等。 1.2 国内外研究历史现状及其分析 许多 自然语言问题可 以归结为一个分类 问题 。比如在词性标注任务中，目标 就是在候选词性集合 中选取一个词性作为目标词 的词性。而常用 的分类器 以及 语言模型有隐马可夫模型(Hidden Markov Model)、最大熵模型(Maximum Entropy Model) 、贝叶斯 网络(Bayesian Network)、Adaboost 以及近 年 新兴 的支 持 向量 1 复旦大学学士毕业论文 机(Support Vector Machine)、最大熵 隐马(Maximum E