Nutch中文分词总结.docVIP

Nutch中文分词总结 Nutch中文分词总结2011-07-27 09：591中文分词介绍 中文分词是在做检索类系统时需要重点考虑的一个因素。Nutch的本土化过程也需要更改对中文分词的支持。目前，Nutch中文分词方式大致有两种方式： 一是修改源代码。这种方式是直接对Nutch分词处理类进行修改，调用已写好的一些分词组件进行分词。 二是编写分词插件。这种方式是按照Nutch定义的插件编写规则重新编写或者添加中文分词插件。 以上两种方式都是可取的。目前，由于开源社区的活跃，已经有很多种分词组件的出现，无论是修改源代码的方式还是编写分词插件的方式，都是依赖于这些分词组件的。下面列出了主要的一些分词组件： 1、CJKAnalyzer Lucene自带的一种中日韩分词器。 2、ChineseAnalyzer Lucene自带的对中文的分词器 3、IK_CAnalyzer(MIK_CAnalyzer) 一种基于词典的分词器，Lucene自带，相对而言较简单。 4、Paoding分词 比较有名的庖丁解牛分词组件，效率高分词速度快，分词准确度高。 5、JE分词 网友编写的分词组件，性能也不错。 6、ICTCLAS 中科院的一组分词工具，其中有开源的也有收费版本，他基于HMM模型。主要的几个如下： ICTCLAS_OpenSrc_C_windows、ICTCLAS_OpenSrc_C_Linux为中科院计算所张华平和刘群老师研制。 SharpICTCLAS为.net平台下的ICTCLAS，是由河北理工大学经管学院吕震宇根据Free版ICTCLAS改编而成，并对原有代码做了部分重写与调整。 ictclas4j中文分词系统是sinboy在中科院张华平和刘群老师的研制的FreeICTCLAS的基础上完成的一个java开源分词项目，简化了原分词程序的复杂度，旨在为广大的中文分词爱好者一个更好的学习机会。 imdict-chinese-analyzer是imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马尔科夫模型(Hidden Markov Model,HMM)，是中国科学院计算技术研究所的ictclas中文分词程序的重新实现(基于Java)，可以直接为lucene搜索引擎提供中文分词支持。 2分词结构分析 在进行实验之前需要对Nutch分词结构进行分析。本文仔细研究了一下Nutch的org.apache.nutch.anlysis包，其中大多的类都是与Nutch在爬行网页时候对网页中的文本分词解析相关的。Nutch解析文本类的架构得非常好，下面就让我们来研究下它的架构吧，了解清楚之后就可以为我们之后加入中文分词打下很好的基础。 Nutch分词的最底层使用的是lucene的Analyzer抽象类，它位于org.apache.lucene.analysis包中，NutchAnalyzer继承了Analyzer类、实现了Configurable、Pluggable接口，该抽象类中定义了一个公有的抽象方法tokenStream(String fieldName,Reader reader)返回的类型是TokenStream。该方法是用于分析文本，其后的具体类中在这个方法中实现了从文本中提取索引词组的策略、算法。而返回的TokenStream类是即可以从文本或者从查询词组中枚举token序列的抽象类，在Lucene中继承了它的具体类有Tokenizer、TokenFilter。 NutchAnalyzer类是Nutch中扩展分析文本的扩展点，所有用于解析文本的插件都得实现这个扩展点。对于Analyzer一个典型的扩展就是首先建立一个Tokenizer(org.apache.lucene.analysis.Tokenizer)，它是用于将Reader中读入的Stream分解成最原始的词组(Token---org.apache.lucene.analysis.Token)，在Tokenzier分解Stream之后，一个或多个TokenFilter会用于过滤这些词组中无意义的词组。 NutchDocumentAnalyzer类继承了NutchAnalyzer，其中有三个静态私有内部类ContentAnalyzer、AnchorFilter、AnchorAnalyzer它们分别继承了Analyzer(org.apache.lucene.analysis.Analyzer)、TokenFilter(org.apache.lucene.analysis.TokenFilter)、Analyzer(org.apache.lucene.analysis.Analyzer)。在ContentAnalyzer中调用了CommonGrams类(org.apache