淘宝商品管理-技术实践之路.pdf

淘宝网商品管理 技术实践之路 About Me 淘宝网-产品技术部 交易平台-商品平台-商品管理 姓名：刘抚狄 花名：府笛 @TB府笛 内容提要 技术挑战 商品管理系统的演化过程 技术细节 展望 技术挑战@淘宝商品管理 十亿级商品数 百万级用户数 每天处理TB级数据 数据沉淀 成本控制 业务多变 上千条业务规则 发展过程@淘宝商品管理 模型 全量模型 数据工具 人肉 搜索引擎 全量规则·模型 增量·优化 商品生命周期 第一阶段：基于搜索 商品后台 商品主搜 规则库 商品库 基于搜索的商品管理 ?实现 存储用户设置的规则，生成Query 定时仸务触发，多进程/线程执行 ?特点 作为搜索的子集，所见即所得 方案简单，快速满足需求 第一阶段：改进 ?翻页查询，时间长，成本高，引擎鸭梨山大 ?索引优化、预排序导致的截断，数据丌全 ?指标有限，在丌影响主流业务的情况下难以扩展 ?更换数据源，思考如何才能进行全量管理 ?开始考虑引入模型和算法资源，降低人肉成本 第二阶段：全量 模型 商品 卖家 交易 浏览 投诉 …… Hadoop/宽表Join Job端·模型执行引擎 规则库 商品后台 商品主搜 实时端 模型执行引擎 商品库 基于Hadoop的全量商品管理 ?实现 全量部分：Hadoop + 宽表 + DSL 实时部分：Notify(MQ) + DSL + 实时构造宽表 保留搜索引擎逡辑 ?特点 全网所有数据都在全量覆盖范围 术业与攻，发挥BI、网安、反作弊等团队技术优势 大量使用在搜索引擎中丌提供的指标 更好的发挥DW、BI资源作用 能够实现较为复杂的业务逡辑 第二阶段：技术细节 ?引入Hadoop进行全量数据处理 ?调度系统 ?通用Join仸务 ?SST的宽表数据结构实现 ?DSL和执行引擎 ?why not HIVE? 第二阶段：改进 ?全量数据源更新延时长 ?搜索查询优化的业务风险 ?实时端的业务描述能力有限 ?丰富的基础工具，但没有深度整合 ?应当引入帮助卖家的前端产品 第三阶段：增量 生命周期日志 全量模型 商品 用户