FudanNLP文档.pdf

FudanNLP 文档 邱锡鹏 计算机学院媒体计算研究所 复旦大学 xpqiu@fudan.edu.cn 2011 年5 月4 日 摘要 FudanNLP 主要是为中文自然语言处理而开发的工具包，也 包含为实现这些任务的机器学习算法和数据集。本工具包及其包 含数据集使用 LGPL3.0 许可证。FudanNLP 是基于 Java 的开源 项目，利用统计机器学习和规则方法来处理中文自然语言处理的 经典问题，比如：分词、词性标注、句法分析、实体名识别等。 1 目录 摘要 1 第一章 FudanNLP 结构 1 1.1 组织结构 . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 文件组织结构 . . . . . . . . . . . . . . . . . . . . . . 1 第二章 结构化机器学习简介 3 2.1 特征生成 . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 推理 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.3 损失计算 . . . . . . . . . . . . . . . . . . . . . . . . 3 2.4 学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.4.1 PA 算法 . . . . . . . . . . . . . . . . . . . . . 4 第三章 程序结构 6 3.1 数据类型：edu.fudan.ml.types . . . . . . . . . . . . . 6 3.1.1 Instance 类 . . . . . . . . . . . . . . . . . . . 6 3.1.2 InstanceSet 类 . . . . . . . . . . . . . . . . . 6 3.2 数据读取：edu.fudan.ml.data . . . . . . . . . . . . . 6 3.3 数据特征变换：edu.fudan.ml.pipe . . . . . . . . . . . 7 3.4 机器学习：edu.fudan.ml.classifier . . . . . . . . . . . 7 3.4.1 特征生成：edu.fudan.ml.feature.generator