可编辑文档：语义模型在小红书社区搜索的应用分析报告-培训课件.pptx

语义模型在小红书搜索的应用

OUTLINE?小红书搜索的问题是什么?语义模型在搜索的应用?训练与评估

小红书的搜索问题?多模：文本、图像、视频?异构：图文笔记、长/短视频、商品、用户、评论、etc.?个性化

OUTLINE?小红书搜索的问题是什么?语义模型在搜索的应用?语义模型的训练与评估

语义模型在搜索的应用-overview相关性个性化其他LTR精排相关性个性化其他LTR粗排召回ANN倒排近线AGG

语义模型在搜索的应用艾尔登法环好玩吗Query处理召回排序相关性内容理解

语义模型在搜索的应用-QP?基础分析模块?分词、命名实体识别、词权重、紧密度?Taxonomy:?类目和意图预测?改写:?纠错、同义改写、省略改写、查询扩展

语义模型在搜索的应用-召回?倒排召回?向量召回?召回聚合

语义模型在搜索的应用-召回?倒排召回关键词笔记列表艾尔登笔记1，笔记2，笔记3法环…笔记1，笔记3，笔记4…查询语法：“艾尔登”and“法环”返回结果：笔记1，笔记3

语义模型在搜索的应用-召回?查询表达式同义改写分词艾尔登法环or老头环老头环艾尔登法环(and)or查询串生成艾尔登法环老头环LSEuserid:444287,docid:155423,date:2024-05-19,

语义模型在搜索的应用-召回余弦相似度：?向量召回??神经网络神经网络Query特征用户特征文本、图片、视频、笔记特征

语义模型在搜索的应用-召回ANN引擎：?向量召回onlineinference?神经网络?Query特征用户特征

语义模型在搜索的应用-召回?召回聚合

语义模型在搜索的应用-排序排序结果多样性、业务规则（PostRank）融合分数（LTR）查询词理解相关性内容质量时效性个性化

语义模型在搜索的应用-相关性相关性打分融合模型文本相关性图视频相关性匹配类特征片相关性

OUTLINE?小红书搜索的问题是什么?语义模型在搜索的应用?语义模型的训练与评估

语义模型的训练与评估-文本BERTMLMMLM????1????????′??′?1BERT?????1??????1????????′??′?1??????????????????1?2stage1:preTrain?task:MLM?model:n-layertransformer?data:文本数据?training:unsupervised

语义模型的训练与评估-文本BERTMLMMLMBCE????1????????′??′?????1????????′1??′?1BERTBERT?????1????????′??′??????1????????′1??′?1??????1???????????????????????1??????????????????1?2?1?2stage1:preTrainstage2:postPreTrain?task:MLM?task:BCE(nsp)?model:n-layertransformer?data:文本数据?training:unsupervised?model:n-layertransformer?data:用户数据?training:supervised

语义模型的训练与评估-文本BERTMLMMLMBCEregression????1????????′??′?????1????????′??′?????1????????′??′?111BERTBERTBERT?????1??????1????????′??′?????1????????′??′?????1????????′??′?1?1?1???????????????????????1???????????????????????1??????????????????1?2?1?2?1?2stage1:preTrainstage2:postPreTraintask:BCE(nsp)stage3:fineTune?task:regression(MSE)?task:MLM??model:n-layertransformer?model:n-layertransformer?model:n-layertransformer?data:文本数据data:用户数据training:supervised?data:标注数据?training:supervised??training:unsupervised?

语义模型的训练与评估-在线推理?蒸