TK6-阿里推荐算法测试方法.pptxVIP

阿里推荐算法测试方法 共享事业部数据应用--敏仪 提纲 背景介绍 推荐算法测试方法 AEC推荐算法测试平台 展望 推荐业务介绍 推荐业务介绍 推荐算法框架介绍 提纲 背景介绍 推荐算法测试方法 AEC推荐算法测试平台 展望 优秀推荐算法评测维度 用户 卖家 网站 挑战：感性判断到指标量化 高质量、感兴趣的商品 大多数卖家 用户反馈、促进成交 常见推荐算法测试方法 离线实验 用户调查 在线实验 在离线数据集上通过离线指标预测算法推荐效果 通过真实用户调查给出主观感受结果 通过线上AB测试得到商业上关注的指标 离线实验 用户调查 在线实验 离线 实验 用户 调查 在线 实验 阿里推荐算法测试方法介绍 测试报告 上线说明 算法正确性测试 规则扫描 白盒测试 JOB监控 数据规则 字段 记录 单表 表间 MR单元测试 MR集成测试 MR性能测试 业务规则 业务过滤 一致性 JOB性能 JOB配置 JOB报警 算法结果集 算法逻辑 算法稳定性 算法合理性测试 失效率 UV失效率、PV失效率 2 4 6 8 覆盖率 UV覆盖率、PV覆盖率 多样性 类目多样性、分散度、推荐结果多样分布、基尼系数 准确率、召回率 类目准确率、类目召回率 商品准确率、商品召回率 共现度 数据源比例、商品类型比例 新颖性 推荐对象更新率、推荐结果更新率 排序质量 DCG、NDCG 时效性