阿里云-开放搜索服务最佳实践.pdfVIP

开放搜索 最佳实践 开放搜索 / 最佳实践 最佳实践 功能篇 分词、匹配、相关性、排序表达式 针对目前若干用户遇到的搜索结果与预期不符合的问题进行统一详细说明，并以此为话题展开说明下 opensearch 在搜索效果方面的功能和后续一些工作方向。 首先，对于搜索来讲，最常见的有两种做法： 1. 数据库的 like 查询，可以理解为简单的包含关系； 2. 百度、 google 等搜索引擎，涉及到分词，将查询词根据语义切分成若干词组 term （这个是搜索引擎 重难点之一），通过 term 组合匹配给相应文档进行打分，根据分值排序，并最终返回给用户。 opensearch 采用的方式与上述搜索引擎做法基本一致。那这里就有三部分内容会影响搜索效果： 1，分词方式 ；2 ，匹配方式； 3 ，相关性算分。 我们来分别说下这三部分在 opensearch 上的行为和表现。 分词方式 原理 分词会在两个地方使用： 1. 索引构建时：接收到用户推送文档后，会根据用户定义的应用结构，取出其中为 TEXT、 SWS_TEXT字段进行分词，将对应文档内容分成若干 term （如 浙江大学 拆分成 2个 term ： 浙江 和 大学 ），并针对每个索引字段配置（可搜索的索引字段）构建 term 到文档 doc 的倒排链表，用于快 速召回使用； 2. 查询时：将查询词进行分词，按照切完后的 term 查找倒排链，从而找到（召回）包含该 term 的文档 。 由此可见，这两部分的分词方式必须一致，否则会出现对应文档无法召回的情况。 接下来，我们详细说明下各个字段的展现效果及适用场景，供大家参考。 1 开放搜索 / 最佳实践 STRING 不分词，适合一些需要精确匹配或者只展示不搜索的场景，如标签、关键词、 url 等。 如文档字段内容为 菊花茶 ，则只有搜索 菊花茶 的情况下可以召回。 TEXT、MWS_TEXT 按照检索单元做分词，适合有语义的中文搜索场景，如标题、文本等， MWS_TEXT是TEXT的扩展，会召回更多 的内容，建议使用 MWS_TEXT。 如文档字段内容为 菊花茶 ，则搜索 菊花茶 、 菊花 、 茶 、 花茶 的情况下可以召回。 SWS_TEXT 按照单字 / 单词分词，适合非语义的中文搜索场景，如小说作者名称、店铺名等； 如文档字段内容为 菊花茶 ，则搜索 菊花茶 、 菊花 、 茶 、 花茶 、 菊 、 花 、 菊茶 的情况下可以召回。 SHORT_TEXT 短文本模糊搜索，支持拼音搜索、数字的前后缀搜索、单字或者单字母搜索。最多支持 100个字节字段长度 ，更多介绍及注意事项参见 模糊搜索使用说明 如文档字段内容为 菊花茶 ，则搜索 菊花茶 、 菊花 、 茶 、 花茶 、 菊 、 花 、 菊茶 、ju 、juhua 、juhuacha 、 j 、jh 、jhc 等情况下可以召回。 如文档字段内容为手机号 ，则通过 ^138 来搜索以 138 开头的手机号，通过 5678$ 搜索以 5678 结尾的手 机号； 如文档字段内容为 OpenSearch ，则通过单个字母或者组合都可以检索到。 ENG_TEXT 英文分词，适合于英文搜索场景，对于分词后的每个英文单词默认会做去词根、单复数转化。 如文档字段内容为 英文分词器 english analyzer ，则搜索 英文分词器 、english 、analyz 、anal