中文分词搜索.docVIP

方法一：在nutch当中加入中文分词。这里我使用的IK_Analyzer1、下载IKAnalyzer3.2.5Stable.jar。2、需要修改org.apache.nutch.analysis包下面的NutchDocumentAnalyzer.java的tokenStream方法? 2.1 ： 加入属性变量 -- private static Analyzer IK_ANALYZER;? 2.2 ： NutchDocumentAnalyzer 构造方法中 加入 ：???????? IK_ANALYZER = new IKAnalyzer();? 2.3 ： 在 tokenStream 方法中加入???????? Analyzer analyzer;??? ?analyzer = IK_ANALYZER;???????? //以下几行代码必须加上??? ?TokenStream tokenStream = analyzer.tokenStream(fieldName, reader);??? ?tokenStream.addAttribute(TypeAttribute.class);??? ?tokenStream.addAttribute(FlagsAttribute.class);??? ?tokenStream.addAttribute(PayloadAttribute.class);??? ?tokenStream.addAttribute(PositionIncrementAttribute.class);???????? //如果不加，在search的时候报错，错误如下：? Exception in thread main java.lang.IllegalArgumentException: This AttributeSource does not have the attribute???? org.apache.lucene.analysis.tokenattributes.TypeAttribute. ? 2.4 ： 在这个包下找到org.apache.nutch.analysis.NutchAnalysis.jj???????? 将SIGRAM: CJK 替换为 SIGRAM: (CJK)+ ???????? 然后使用javacc工具编译，可以得到7个**.java文件，把这些文件覆盖这个包下面文件。? 2.5 ： 编译src/build.xml???????? 加入 include name=IKAnalyzer3.2.5Stable.jar/3、根目录下 ant.搜索引擎需要的就是数据，抓取海量数据、然后存储、分析、建立索引、计算，最终根据用户需求快速检索出结果。存储分析和建立索引的过程开源项目中有个Hadoop是不二之选。这里分析的不是hadoop，而是搜索引擎中最后一步，也是至关重要的一步：中文分词。因为程序员基本是写java为主，故在考虑搜索引擎时，就采用了搜索领域影响颇深的基于纯java语言开发的Nutch搜索引擎。搜索引擎处理英文文档时，几乎不需要特殊的加工处理，英文文档本身就是以词为单位的组织，词个词之间是靠空格或标点符号显式地表示词的边界。我们采用的庖丁解牛正是为中文的分词提供了技术基础。首先，用wget下载了细胞词库，哇，太棒了，数据大的惊人。加上paoding自带的22M词库，基本可以满足我们词典库。 第一步是建立两个文件，在nutch目录的src/plugin目录下建立两个文件夹分别命名为analysis-zh，lib-paoding-analyzers。然后在这两个文件夹下建立plugin.xml和build.xml。 analysis-zh文件夹下plugin.xml内容如下： ?xml version=1.0 encoding=UTF-8? plugin id=analysis-zh name=Chinese Analysis Plug-in version=1.0.0 provider-name=net.paoding.analysis runtime library name=analysis-zh.jar export name=*/ /library /runtime requires import plugin=nutch-extensionpoints/ import plugin=lib-paoding-analyzers/ /requires extension id=org.apache.nutch.analysis.zh name=Chinese Analyzer poin