搜索引擎中汉语分词的原理与实现.doc

搜索引擎中文分词原理与实现 因为中文文本中，词和词之间不像英文一样存在边界，所以中文分词是一个专业处理中文信息的搜索引擎首先面对的问题，需要靠程序来切分出词。 一、Lucene中的中文分词 ????????Lucene在中处理中文的常用方法有三种，以“咬死猎人的狗”为例说明之： ????? ? 单 ? ? ?字：【咬】 【死】 【猎】 【人】 【的】 【狗】 ????? ? 二元覆盖：【咬死】 【死猎】 【猎人】 【人的】 【的狗】 ????? ? 分 ? ? ?词：【咬】 【死】 【猎人】 【的】 【狗】 ????????Lucene中的StandardTokenizer采用单子分词方式，CJKTokenizer采用二元覆盖方式。 1、Lucene切分原理 ????????Lucene中负责语言处理的部分在 org.apache.lucene.analysis包，其中，TokenStream类用来进行基本的分词工作，Analyzer类是 TokenStream的包装类，负责整个解析工作，Analyzer类接收整段文本，解析出有意义的词语。 ????? ? 通常不需要直接调用分词的处理类analysis，而是由Lucene内存内部来调用，其中： ????? ? （1）在索引阶段，调用addDocument（doc）时，Lucene内部使用Analyzer来处理每个需要索引的列，具体如下图： ????? ?? 图1 Lucene对索引文本的处理 ????? ? IndexWriter index = new IndexWriter(indexDirectory, ????????????????????????????????????????????????? ? new CnAnalyzer(),????? ? //用于支持分词的分析器 ????????????????????????????????????????????????? ? !incremental, ????????????????????????????????????????????????? ? IndexWriter.MaxFieldLength.UNLIMITED); ????? ? （2）在搜索阶段，调用QueryParser.parse（queryText）来解析查询串时，QueryParser会调用Analyzer来拆分查询字符串，但是对于通配符等查询不会调用Analyzer。 ????? ? Analyzer analyzer = new CnAnalyzer();????????????????????? ? //支持中文的分词 ????? ? QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, title, analyzer); ????? ? 因为在索引和搜索阶段都调用了分词过程，索引和搜索的切分处理要尽量一致，所以分词效果改变后需要重建索引。 ????? ? 为了测试Lucene的切分效果，下面是直接调用Analysis的例子： ????? ? Analyzer analyzer = new CnAnalyzer();????????????????????? ? //创建一个中文分析器 ????? ? TokenStream ts = analyzer.tokenStream(myfield, new StringReader(待切分文本));? ? //取得Token流 ????? ? while (ts.incrementToken()) {????????????????????????????????? ? //取得下一个词 ????????????? ? System.out.println(token:?+ ts); ????? ? } 2、Lucene中的Analyzer ????? ? 为了更好地搜索中文，通过下图来了解一下在Lucene中通过WhitespaceTokenizer、WordDelimiterFilter、LowercaseFilter处理英文字符串的流程： 图2 Lucene处理英文字符串流程 二、查找词典算法 ????? ? 词典格式可以是方便人工查看和编辑的文本文件格式，也可以是方便机器读入的二进制格式。词典的最基本文本文件格式就是每行一个词。在基于词典的中文分词方 法中，词典匹配算法是基础。一般词典规模都在几十万词以上，所以为了保证切分速度，需要选择一个好的查找词典算法。 1、标准Trie树 ????? ? 一个数字搜索Trie树的一个节点只保留一个字符，如果一个单词比一个字符长，则包含第一个字符的节点有指针指向下一个字符