句法分析工具比较.PDFVIP

句法分析工具比较 刘荣 2015-04-13 目录 一 目前工具3 二 复旦NLP 3 2.1 简介3 2.2 算法3 2.3 格式3 2.4 性能和效率4 三 斯坦福NLP 5 3.1 简介5 3.2 算法5 3.3 格式5 3.4 性能和效率6 四 HanLP 6 4.1 简介6 4.2 算法6 4.3 格式7 4.4 性能和效率7 五 LTP 7 5.1 简介7 5.2 算法8 5.3 格式8 5.4 性能和效率8 六 总结9 参考文献：9 附录： 10 一 斯坦福句法树的相关标记 10 二 清华大学依存关系 13 三 哈工大相关标注 13 一 目前工具 1. 复旦大学fnlp 2. 斯坦福大学 3. Hanlp 4. 哈工大ltp 二 复旦NLP 2.1 简介 FNLP 主要是为中文自然语言处理而开发的工具包，也包含为实现这些任务 的机器学习算法和数据集。目前，FNLP 功能包括信息检索（文本分类 新闻聚 类），中文处理（中文分词 词性标注 实体名识别 关键词抽取 依存句法分析 时 间短语识别 指代消歧），结构化学习算法（在线学习 层次学习 聚类）。FNLP 源代码可免费从 github(/xpqiu/fnlp/) 下载使用，也可使用在线 demo （/nlp/)体验工具效果。另外，可以通过论文《FudanNLP: A Toolkit for Chinese Natural Language Processing 》查看具体算法的实现和工具的 具体性能分析。 2.2 算法 在FNLP 中，依存句法分析使用的是基于转换的依存句法分析[1].在基于转换 的分析方法中，依存分析被看作是对输入句子执行若干动作，由这些动作建立起 句子中词与词之间的联系。每一个动作都将当前的分析状态转换到新的状态。基 于转换的分析方法并不搜索全局最优的动作序列，而是采用贪婪的策略，根据当 前状态选择局部最优的动作，一个动作一旦执行就不会在更改，因而又称确定性 分析方法. 2.3 格式 1. 依存分析中的关系 表格 1 依存句法中的关系 2. 实例分析 将FNLP 加载到Eclipse 中进行功能验证，输入“如何办理身份证”。程序输 出格式(Conll)： 0 如何 副词 1 状语 1 办理 动词 -1 核心词 2 身份证 名词 1 宾语 3 ？ 标点 1 标点 其中运行时间为 0.034s( 不包括资源加载的时间) 。另外，可以从可视化工具 “DependencyViewer ”展现： 图 1 依存分析树 2.4 性能和效率 性能分析测试结果摘自【2 】，如下图所示： 图 2 依存句法分析性能 其中，依存句法分析的模型大小为10.6M。 三 斯坦福NLP 3.1 简介 斯坦福句法分析工具使用 java 语言开发，支持中文的分词，词性标注，句 法 分 析 和 命 名 实 体 识 别 。 其 句 法 分 析 工 具 可 以 在 【/software/lex-parser.shtml 】下载并使用。也可以使用在线 demo 验证:8080/parser/ 。 3.2 算法 斯坦福句法分析集成了三种算法：概率上下文无关文法(PCFG) 基于神经网 络的依存句法分析和基于转换的依存句法分析（Shift Reduce ）。具体算法参考 【4,5 】 3.