TK6-阿里推荐算法测试方法.pptxVIP

阿里推荐算法测试方法共享事业部数据应用--敏仪提纲背景介绍 推荐算法测试方法AEC推荐算法测试平台展望推荐业务介绍推荐业务介绍推荐算法框架介绍提纲背景介绍推荐算法测试方法AEC推荐算法测试平台展望优秀推荐算法评测维度高质量、感兴趣的商品用户反馈、促进成交用户大多数卖家网站卖家挑战：感性判断到指标量化常见推荐算法测试方法离线实验在离线数据集上通过离线指标预测算法推荐效果离线实验通过真实用户调查给出主观感受结果用户调查通过线上AB测试得到商业上关注的指标用户调查在线实验在线实验阿里推荐算法测试方法介绍测试报告上线说明算法正确性测试算法稳定性算法结果集算法逻辑规则扫描白盒测试JOB监控数据规则字段记录单表表间业务规则业务过滤 一致性MR单元测试MR集成测试MR性能测试JOB性能JOB配置JOB报警算法合理性测试失效率UV失效率、PV失效率1覆盖率 UV覆盖率、PV覆盖率2多样性类目多样性、分散度、推荐结果多样分布、基尼系数准确率、召回率 类目准确率、类目召回率 商品准确率、商品召回率34共现度数据源比例、商品类型比例新颖性推荐对象更新率、推荐结果更新率65排序质量DCG、NDCG时效性用户实时行为比率78算法测试指标案例合理性指标案例 1合理性指标构建 失效率LOST 指标描述及定义推荐算法无法为用户提供推荐数据占推荐全集的占比 指标定义衍生 失效率衍生定义 统计计算方式脚本化UV失效率、PV失效率 建立指标场景化基线指标实现Shell+HIVE脚本实现指标计算过程 指标构建的四个过程 失效率基线LOST=2.63% 指标构建过程案例说明算法测试指标案例合理性指标案例 2合理性指标构建 多样性D(c) 指标描述及定义表示推荐算法的N条数据中，数据拥有的某一属性的个数，统计各属性个数在全部N条数据中的比例。 指标定义衍生 多样性衍生定义 统计计算方式脚本化类目多样性、分散度、基尼系数等 建立指标场景化基线指标实现Shell+HIVE脚本实现指标计算过程 指标构建的四个过程 多样性基线某场景的类目多样性 指标构建过程案例说明算法测试体系算法测试体系构建基于用户的推荐基于商品的推荐基于内容的推荐基于事件的推荐基于LBS的推荐案例：基于商品的推荐算法测试体系提纲背景介绍推荐算法测试方法AEC推荐算法测试平台展望AEC平台功能介绍平台使用者模版生成 ODPSSQL生成 路径创建通过测试脚本创建通过测试体系创建通过测试场景创建平台管理员AEC平台主要功能展示AEC平台特点介绍1标准化的算法测试方法 2引导测试过程，沉淀测试结果规范化算法测试数据3跨平台调度执行45开放共建算法测试方法提纲背景介绍推荐算法测试方法推荐算法测试平台（AEC）展望总结Onlinelearning机器学习算法测试方法实时特征、实时计算测试方法测试方法开放共建测试方法外部服务化Online算法验收测试方法数据规则扫描方法ThanK YOU！QA