Nutch中文分词的研究和改进.pdfVIP

第lO卷 第6期 软 件 导 刊 Vb1．1ON0．6 2Ol1年 6月 SoftwareGuide Jun．2Oll Nutch中文分词的研究和改进 杜 娟 (江苏广播 电视大学，江苏 南京 210036) 摘 要 ：介绍了在 Nuteh1．0中加入 PaodingsKnives中文分词的原因及 实现方法。通过 实例测试，对结果进行分析 和比较，说明了PaodingsKnives中文分词能够较好地满足实际的中文搜索需求。 关键词 ：Nutch；搜索引擎；中文分词；PaodingsKnives 中图分类号 ：TP301 文献标识码 ：A 文章编号 ：1672—7800(2011)06—0019—02 类是即可以从文本或者从查询词组 中枚举 token序列 的 1 中文分词和 Nutch中文分词的缺点 抽象类 。 NutchDocumentAnalyzer类 继承 了 NutchAnalyzer， 中文分词是构建检索类系统需要重点考虑的一个 因 其中有 3个静态私有 内部类 ContentAnalyzer、AnchorFil— 素 ，它直接影响着搜索结果的相关度排序和搜索的效率及 ter、AnchorAnalyzer，它们 分别 继承了 Analyzer(org．a— 准确程度 。分词的准确性对搜索引擎来说十分重要 ，但如 pache．1ucene．analysis．Analyzer)、TokenFilter(org．a— 果分词速度太慢，即使准确性再高，对于搜索引擎来说也 pache．1ucene．analysis．TokenFiher)、Analyzer(org．a— 是不可用的，因为搜索引擎需要处理数 以亿计的网页，如 pache．1ucene．analysis．Analyzer)。在 ContentAnalyzer中 果分词耗用的时间过长，会严重影响搜索引擎 内容更新的 调用 了CommonGrams类 (org．apache．nutch．analysis)，该 速度 。因此对于搜索引擎来说，分词的准确性和速度 ，二 类构建了一个 n-grams的分词方案，因为需要在索引中考 者都需要达到很高的要求。 虑词组的出现频率 ，并且实现了对 n-grams方案词组查询 Nutch的分词对英文的切分 比较完善 ，在 中文分词上 的优化措施 。在 n—grams方案中单个的词组同样会被该 使用的是默认的单字切分，即每个字被认为是一个词。这 方案索引，索引期 间大量使用 了Token(org．apache．1u— 种以单个汉字索引方式来分词的方法效果不是很理想，不 cene．analysis．Token)的各种方法，并且还会调用 nutch／ 能满足中文搜索的实际需求。因此我们需要新的分词器， conf／nutch-default．xml中 mon．terms。file的 来实现对 中文搜索的良好支持。目前的中文分词组件有 配置属性 。 PaodingsKnives、CJKAnalyzer、JE、ICTCLAS等，其中Paod— 2．2 中文分词的实现 ingsKnives是一个开源的，使用 Java开发的分词组件。它