IK分词处理过程(源码分析).docVIP

IK的整个分词处理过程 首先，介绍一下IK的整个分词处理过程： 1. Lucene的分词基类是Analyzer，所以IK提供了Analyzer的一个实现类IKAnalyzer。首先，我们要实例化一个IKAnalyzer，它有一个构造方法接收一个参数isMaxWordLength，这个参数是标识IK是否采用最大词长分词，还是采用最细粒度切分两种分词算法。实际两种算法的实现，最大词长切分是对最细粒度切分的一种后续处理，是对最细粒度切分结果的过滤，选择出最长的分词结果。 2. IKAnalyzer类重写了Analyzer的createComponents方法，这个方法接收两个参数，fieldName和输入流reader，其中fieldName是Lucene的属性列，是对文本内容进行过分词处理和创建索引之后，索引对应的一个名称，类似数据库的列名。因为IK仅仅涉及分词处理，所以对fieldName没有进行任何处理，所以此处不做任何讨论。 3. createComponents方法在Lucene对文本输入流reader进行分词处理时被调用，在IKAnalyzer的createComponents方法里面仅仅实例化了一个IKTokenizer类，该类继承了Lucene的Tokenizer类。并重写了incrementToken方法，该方法的作用是处理文本输入流生成token，也就是Lucene的最小词元term，在IK里面叫做Lexeme。 4. 在IKtokenizer的构造方法里面实例化了IK里面最终要的分词类IKSegmenter，也称为主分词器。它的构造方法接收两个参数，reader和isMaxWordLength。 5. IKSegmenter的构造方法里面，主要做了三个工作，创建上下文对象AnalyzeContext，加载词典，创建子分词器。 6. AnalyzeContext主要是存储分词结果集和记录分词处理的游标位置。 7. 词典是作为一个单例被创建的，主要有量词词典、主词典和停词词典。词典是被存储在字典片段类DictSegment 这个字典核心类里面的。DictSegment有一个静态的存储结构charMap，是公共词典表，用来存储所有汉字，key和value都是一个中文汉字，目前IK里面的charMap大概有7100多的键值对。另外，DictSegment还有两个最重要的数据结构，是用来存储字典树的，一个是DictSegment的数组childrenArray，另一个是key为单个汉字（每个词条的第一个汉字），value是DictSegment的HashMap childrenMap。这两个数据结构二者取其一，用来存储字典树。 8. 子分词器才是真正的分词类，IK里面有三个子分词器，量词分词器，CJK分词器（处理中文），停词分词器。主分词器IKSegmenter遍历这三个分词器对文本输入流进行分词处理。 9. IKTokenizer的incrementToken方法调用了IKSegmenter的next方法，next的作用是获得下一个分词结果。next在第一次被调用的时候，需要加载文本输入流，并将其读入buffer，此时便遍历子分词器，对buffer种的文本内容进行分词处理，然后把分词结果添加到AnalyzeContext的results數組中。 下面，以CJKSegmenter子分词器为例介绍一下生成分词结果集的流程： 1. IKSegmenter遍历Segmenter时，调用CJKSegmenter的analyze方法，该方法接收两个参数，segmentBuf和AnalyzeContext，segmentBuf是一个Character数组，文件输入流分解后得到，AnalyzeContext即IK的Context类实例，用来记录segmentBuf游标以及存储切分后的词元lexeme。 2. 进入analyze方法，首先判断是否中文字符，然后判断是否存在词段队列，举例来说“中华人民共和国”，这个词条，就会存在一个词段队列，分别存储“中华”、“中华人民”、“中华人民共和”、“中华人民共和国”，前面词段依次是后面词段的前缀。这个词段队列也是在analyze方法中填充的。当一个词条和字典中的词匹配成功，并且也是字典中某个词条的前缀，则被加入队列，当一个词条不再是某个词条的前缀，移除出队列。 3. 如果词段队列里面不存在词段，把当前的Character与字典中的词匹配，创建一个新的hit，如果字典种存在这个Character，把hit添加进词段队列。如果词段队列里面已经存在词段，遍历词段队列，判断当前Character是否可以以词段队列中的词为前缀，组成一个字典中存在的词，如果可以，