深入探讨：IK分词器遇到新词搜索不到解决方案.pdfVIP

57_深入思考：使用IK分词器时出现新的搜索不到如何解决？

1.开篇

上节课测试了suggest技术实现的自动补全功能，在输入“华”的时候，suggest可以匹配到“mate40”

的文本，说明IK的中文分词器将“华”作为了一个词进行了切分。本节课我们会思考，当使用IK分词器时出

现新的搜索不到的情况。今天的课程分为以下部分：

分析器分词的执行过程以及词的

如何解决出现新词搜索不到的问题

2.分析器分词的执行过程以及词的

前面的课程介绍了我们通过对商品名进行分词，从而提高模糊搜索的效率，一旦用户输入的词和分词器

切分的词一致的时候，Elasticsearch会将搜索到的商品名返回给用户选择。

这里我们先一下分词器定义、分词和搜索的过程。如图1所示：

1.我们会在mapping结构文件中定义对某个field的分词，这里以商品名为例我们定义IK的中文分词

器。

2.加载IK中文分词器的时候，该分词器会对商品名进行分词，那么如何将词进行切分就是IK要做的事

情了。它会依靠分词库获取分词的信息，说白了就是分词库告诉IK有哪些词，你就按照这个词对商

品民进行切分。也就是说分词库保存所有分词的信息，如果分词库