IKAnalyzer中文分词器V3.2使用手册.pdfVIP

IKAnalyzer 中文分词器 V3.2 使用手册 目录 1.IK Analyzer 3.X 介绍 2 2.使用指南 5 3.词表扩展 14 4.针对solr 的分词器应用扩展 16 5.关于作者 18 1.IK Analyzer 3.X 介绍 IK Analyzer 是一个开源的，基于java 诧言开发的轻量级的中文分词工具包。从2006 年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 3 个大版本。最初，它是以开源项目 Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IK Analyzer 3.X 则发展为面吐 Java 的公用分词组件，独立于 Lucene 项目，同时提供了对 Lucene 的默认优化实现。 1.1 IK Analyzer 3.X 结构设计 1.2 IK Analyzer 3.X 特性  采用了特有的“正吐迭代最细粒度切分算法“，具有80 万字/秒的高速处理能力。  采用了多子处理器分析模式，支持：英文字母（IP 地址、Email、URL ）、数字（日期， 常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。  优化的词典存储，更小的内存占用。支持用户词典扩展定义  针对 Lucene 全文检索优化的查询分析器IKQueryParser(作者吏血推荐) ；采用歧义分 析算法优化查询关键字的搜索排列组合，能极大的提高 Lucene 检索的命中率。 1.3 分词效果示例 IK Analyzer 3.2.8 版本支持 细粒度切分 和 最大词长切分 ，以下是两种切分方式的演示样 例。 文本原文1: IKAnalyzer 是一个开源的，基于java 诧言开发的轻量级的中文分词工具包。从2006 年12 月推出1.0 版开始， IKAnalyzer 已经推出了3 个大版本。  最大词长分词结果: ikanalyzer | 是 | 一个 | 开源 | 的 | 基于 | java | 诧言 | 开发 | 的 | 轻量级 | 的 | 中 文 | 分词 | 工具包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 | 版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本  最细粒度分词结果: ikanalyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基于 | java | 诧言 | 开发 | 的 | 轻 量级 | 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 | 版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本 文本原文2: 作者博客： 电子邮件：linliangyi2005@  最大词长分词结果: 作者 | 博客 | | 电子邮件 | linliangyi2005@  最细粒度分词结果: 作者 | 博客 | | linliangyi | 2007 | javaeye | com | 电子邮件 | linliangyi2005@ | linliangyi | 2005 | gmail | com 文本原文3 古田县城关六一四路四百零五号  最大词长分词结果: 古田县 | 县城 | 城关 | 六一四 | 路 | 四百零五 | 号  最细粒度分词结果: 古田县 | 古田 | 县城 | 城关 | 六一四 | 六一 | 四 | 路 | 四百零五 | 四 | 百 | 零 | 五 | 号 文本原文4 曙光天阔 I620r-G /A950r-F 夏普SH9020C  最大词长分词结果: 曙光 | 天 | 阔 | i620r-g | a950r-f | 夏普 | sh9020c  最细粒度分词结果: 曙光 | 天 | 阔 | i620r-g | i | 620 | r | g | a950r-f | a | 950 | r | f | 夏普 | sh9020c | sh | 9020 | c 2.使用指南 2.1 下载地址 GoogleCode