现代化 Facebook 限定搜索：关键词与嵌入式混合检索结合大语言模型评估.pdfVIP

现代化Facebook限定搜索：关键词与嵌入式混合检

索结合大语言模型评估

YongyeSuZeyaZhangJaneKou

MetaMetaMeta

MenloPark,CABellevue,WABellevue,WA

yongye@zeyaz@janekou@

ChengJuShubhojeetSarkarYaminWang

MetaMetaMeta

本MenloPark,CAMenloPark,CABellevue,WA

译jucheng@shubhojeet@yaminwang@

中

JiLiuShengboGuo

1MetaMeta

v

3Bellevue,WAMenloPark,CA

0madisonliu@shengbo@

6

3

1

.

9Abstract

0

5

2除了通用的网络规模搜索，社交网络搜索还独特地使用户能够在他们的社

:

v会环境中检索信息并发现潜在联系。

i

x

r我们介绍了一个现代化的Facebook群组范围搜索框架，通过结合传统的基

a

于关键词的检索与基于嵌入的检索（EBR），以提高搜索的相关性和结果多

样性。

我们的系统将语义检索整合到现有的基于关键词的搜索管道中，使用户能

够发现更多在语境上相关的群组帖子。

为了严格评估这种混合方法的影响，我们引入了一个新颖的评价框架，该框

架利用大型语言模型（LLMs）进行离线相关性评估，提供了可扩展且一致

的质量基准。

我们的结果显示，混合检索系统显著提高了用户的参与度和搜索质量，这一

点既得到了在线指标的支持，也通过基于LLM的评估进行了验证。

这项工作为在大规模、现实世界的社交平台中部署和评估高级检索系统提

供了实用见解。

WorkdoneatMeta.

Preprint.

1介绍

FacebookSearch作为世界上最大的社交搜索引擎之一，每天处理数十亿次查询，涵盖包括

人物、页面、群组、活动和帖子等多种内容类型[1,11,3]。除了通用平台搜索外，Facebook

群组范围搜索使用户能够高效地找到相关信息并在特定的社会或地理社区内重新发现帖子。

然而，现有的基于关键字的检索系统只能捕获候选帖子中确切匹配的关键字情况，但无法捕

捉查询和内容之间的语义关系，尤其是对于可能不包含确切关键字匹配的自然语言查询。例

如，“带奶油的小个