技术选型：常见中文分词器及IK分词器配置.pdfVIP

52_技术选型：常见的分词器有哪些？给商品配置IK中文分词器

1.开篇

上节课首先思考Wildcard通配符的查询模式遇到长文本的情况会产生查询效率问题，然后通过文本分词

的思路解决效率问题。从而引出Elasticsearch的分词技术，这里将分析器分为：字符过滤器（Character

Filter）、分词器（Tokenizer）和标记过滤器（TokenFilter）。它们在处理分词的过程中，依次起到了

重要的作用。接着举例说明了Elasticsearch的内置分析器最后讲述了如何自定义分析器。本节课会介绍

常见的分词器有哪些？以及如何给配置IK中文分词器。今天的课程分为以下部分：

常用的中文分词器

IK中文分词器的安装和配置

2.常用的中文分词器

上节课中我们介绍了Elasticsearch中的一些分词器，这节课会介绍几款第的中文分词器。

3.IK分词器

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。

采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和最大词长两种切分模式；具有83万字/秒

（1600KB/S）的高速处理能力。采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词

处理，兼容韩文、日文字符。优化的词典，更小的内存占用。支持用