如何深度融合搜索和推荐：兴趣引擎架构设计.pptx

如何深度融合搜索和推荐 —— 兴趣引擎架构设计 大纲 兴趣引擎 = 搜索 + 推荐 兴趣引擎系统架构 关键技术 内容理解 内容获取 搜索/推荐系统工作流程 用户行为分析 用户画像 指标报表 排序 召回 策略 有用 兴趣引擎 = 搜索 + 推荐 共性特征挖掘 有趣、有料 搜索 兴趣订阅 个性化推荐 有品 对比点 搜索系统 推荐系统 意图表达方式 主动、明确 被动、模糊 查询复杂程度 3~5个词 50+兴趣特征 优化目标 高位置结果的相关性 停留时长 模型训练数据 存在GroundTruth，人工可label 在线反馈 搜索 VS 推荐 排 序 模 型 指 标 监 控 与 数 据 分 析 排 序 特 征 用 户 画 像 兴 趣 关 系 挖 掘 热 点 兴 趣 运 维 层 次 化 兴 趣 体 系 采集/统计/存储 定义/运维/挖掘 Unified Feeder 展 分 静 示 类 态 信 聚 特 息 类 征 频道推荐 索引系统 内容平台 搜索 索引系统 索引池 Popularity Server 兴趣图谱 CF挖掘结果 索引 内容特征 Server 用户平台 获取/分析/挖掘 推荐 流式服务框架（召回、排序、策略） 搜索 应用 新闻推荐 视频推荐 一点健康 一点影视 …… 资讯搜索 Power by Yidian 关键技术 异构索引结构 Unified Feeder 自适应索引召回 排序框架 策略与产品逻辑 为何需要异构索引 安装量 2.9亿 DAU 4800w MAU 1.5亿 频道数 300 万+ 每用户兴趣频道 50+ 文章总数 2亿+ 三日文章 三日文章 索引库 异构索引结构 全量文章 索引库 月文章 索引库 精品文章 索引库 内容平台 频道文章 索引库 编辑运维平台 数据平台 Segmented Popularity Item2Item 协同过滤 Key-Value database Sorted-List storage Inverted Index 三日文章 索引库 垂直 索引库 优化检索性能 全量文章 索引库 月文章 索引库 三日文章 索引库 + WAND 频道文章 索引库 { 炸酱面做法 } { 美食，炸酱面，特朗 普，中美关系……} { 体育，财经，娱乐，……} 优化检索系统（WAND operator) Channelid1 sorteddocidlist Channelid2 sorteddocidlist Channelid3 sorteddocidlist …… …… Channelidn sorteddocidlist …… Unified Feeder Kafka Master Controller Slave Indexer Online - offline（频道索引库 ) Federation Layer Slave Indexer Cache Layer Slave Indexer 关键技术 异构索引结构 Unified Feeder 自适应索引召回 排序框架 策略与产品逻辑 Crawler Crawler 索 索引系统 内容处理平台 自媒体系统 Crawler 内容处理流水线 配置、模板与日志中心 refeed流程 Unified Feeder 内容库 引系统 索引系统 源数据 特征数据 自适应 目的地 编辑运维系统 个别文 档更新 全量更新 … … … … … stream input buffer checkpoint current read deser validate doc routing schema center DB clients dumper target search engine index ranking DB display DB doc center OLAP analyze agg Unified Feeder 结构详解 Feeder input 容错， 一致性 checkpoint system 异构索引 /特征库 indexer 关键技术 异构索引结构 Unified Feeder 自适应索引召回 排序框架 策略与产品逻辑 技术挑战 ➢ 决策需要调用的索引后端 ➢ 异构索引召回效率 ➢ 可扩展性与开发效率 频道推荐 索引系