几款常用分词工具的比较研究.pdf

几款常用分词工具的比较研究 资料来源于网络 修订于西电实验室 本文档主要针对以下几个分词工具进行分析比较： 1、极易中文分词，je-analysis-1.5.3 2、庖丁分词，paoding-analyzer.jar 3、IKAnalyzer3.0 4、imdict-chinese-analyzer 5、ictclas4j 其中： JE 不是开源的，官方网址：/，目前还没有支持 Lucene3 的 版本。 paoding 分词是一个开源的分词器，目前最新的非正式版 3，支持 Lucene3，可 在网上在线获得。 ictclas4j 中文分词系统是 sinboy 在中科院张华平和刘群老师的研制的 FreeICTCLAS 的基础上完成的一个 java 开源分词项目，简化了原分词程序的复 杂度，旨在为广大的中文分词爱好者一个更好的学习机会。 imdict-chinese-analyzer 是 imdict 智能词典的智能中文分词模块，作者高小平， 算法基于隐马尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技 术研究所的 ictclas 中文分词程序的重新实现（基于 Java），可以直接为 lucene 搜索引擎提供中文分词支持。 以上两个都源自中科院的 ICTCLAS，官方网址： / IKAnalyzer：一个开源爱好者的作品，项目地址： /p/ik-analyzer/，作者林良益博客： / 测试过程中，ictclas4j 会报出各种错误，因此放弃了，希望不是因为我配置的原 因。 经过测试，这几款工具中，JE 和庖丁的分词效果是最好的，两者各有千秋， IKAnalyzer 也不错，但是会给出多种分词结果，这个有点不能接受，希望能有好 的改进，imdict-chinese-analyzer 则稍差一点。 由于 JE 不是开源的，所以不建议采用，而且目前还没有支持 Lucene3.x 的 release， 所以本人主张使用 paoding（庖丁）。Paoding_analyzer3.0.jar 可以支持到 Lucene3.4，因此，在目前，这个缺少能够很好支持 Lucene3.x 并具备出色中文 分词能力的分词工具的真空期，paoding 几乎是不二选择。更重要的是，你可以 根据你的需要对其进行个性化定制和二次开发。 以下是各种分词器分词效果的测试数据和测试结果(提示 ：测试的 time 值并不准 确，视具体测试软硬件环境不同会有不同的值，但不影响结果的比较和相对性的 考察)： 原文： 本报讯 （记者王京）联想 THINKPAD 近期几乎全系列笔记本电脑降价促销， 最高降幅达到 800 美元，降幅达到 42％。这是记者昨天从联想美国官方网站发 现的。 联想相关人士表示，这是为纪念新联想成立 1 周年而在美国市场推出的促 销，产品包括 THINKPAD T、X 以及 Z 系列笔记本。促销不是打价格战，THINK 品牌走高端商务路线方向不会改变。 JE 测试结果： 本报讯/记者/王京/联想/thinkpad/近期/几乎/全/系列/笔记本电脑/降价/促销/最 高/降幅/达到/800/美元/降幅/达到/42％/这是/记者/昨天/从/联想/美国/官方网 站/发现/联想/相关/人士/表示/这是/纪念/新/联想/成立/1 周年/而在/美国/市场/ 推出/促销/产品/包括/thinkpad/t/x/以及/z/系列/笔记本/促销/不是/打/价格/战 /think/品牌/走/高端/商务/路线/方向/不会/改变/ Time of index:922ms Time of token:31ms paoding 测试结果： 本报/本报讯/记者/王京/联想/thinkpad/近期/几乎/全/系列/笔记/笔记本/电脑/ 降价/促销/最高/降幅/达到/800/美元/降幅/达到/42/这是/记者/昨天/联想/美国/ 官方/网站/发现/联想/相关/关人/人士/表示/这是/是为/纪念/新/联想/想成/成立 /1/周年/而在/美国/市场/推出/出的/促销/产品/包括/thinkpad/t/x/z/系列/笔记/ 笔记本/促销/不是/价格/战/think/品牌/走高/高端/商务/路线/方向/不会/会改/改 变/ Time of index:63ms Time of token:0ms IKAnalyzer 测试结果： 本报讯/本报/记者/王/京/联想/thinkpad/