机器学习讲义-推荐系统--排序篇1.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 排序介绍 作业1:写代码算MAP 排序介绍 排序指标 NDCG指标 排序介绍 排序指标 item score label i3 0.85 5 i2 0.73 0 i5 0.65 0 i7 0.52 1 item score label i2 0.91 1 i1 0.63 5 i7 0.50 1 i8 0.41 0 NDCG@4=? NDCG@4=? 排序介绍 排序指标 item score label 分子 分母 i3 0.85 5 31 1 i2 0.73 0 0 log2(3) i5 0.65 0 0 log2(4) i7 0.52 1 1 log2(5) DCG@4=31+1/log2(5) 排序介绍 排序指标 item label 分子 分母 i3 5 31 1 i2 0 0 log2(3) i5 0 0 log2(4) i7 1 1 log2(5) DCG@4=31+1/log2(5) item label 分子 分母 i3 5 31 1 i7 0 1 log2(3) i5 0 0 log2(4) i2 0 0 log2(5) IDCG@4=31+1/log2(3) nDCG=DCG/IDCG 排序介绍 排序指标 item score label i2 0.91 1 i1 0.63 5 i7 0.50 1 i8 0.41 0 DCG=? IDCG=? 排序介绍 排序指标 DCG@4=3/2+31/log2(3) IDCG@4=63/2+1/log2(3) item label 分子 分母 i2 1 1 log2(2) i1 5 31 log2(3) i7 1 1 log2(4) i8 0 0 log2(5) item label 分子 分母 i1 5 31 log2(2) i2 1 1 log2(3) i7 1 1 log2(4) i8 0 0 log2(5) 排序介绍 作业2:写代码算NDCG 排序介绍 排序指标 MRR指标 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 预处理 skip above position bias去除 pair生成 排序介绍 怎样确定用户看到了？ 好的位置？ 埋点？ 排序介绍 skip above 排序介绍 position bias 排序靠前，即使不是用户感兴趣的item，点击下单也会多 排序介绍 position bias Click Over Expect Click 排序介绍 position bias Click Model 这样CTR被分解为: 位置偏向性 相关性 排序介绍 position bias 其他方法 训练时候带有位置特征，预测的时候去掉 排序介绍 排序流程 数据 预处理 特征抽取 模型训练 后处理 排序介绍 特征抽取 不同类型模型，特征也不一样 线性模型／因子模型 离散化 组合 树模型 数值化 排序介绍 特征抽取 id类特征 线性模型／特征模型 One Hot Encoding 树模型 基于id的统计特征 排序介绍 特征抽取 数值特征 线性模型／特征模型 * * * * * * * * * * */48 互联网新技术在线教育领航者 LOGO 之前的问题 AUC为0.3240？ 在CTR预估评价中会用LogLoss,为什么不是其他的Loss Function，还是其他的loss function也可以? log loss一定是凸函数吗？怎么证明？ 之前的问题 机器学习实训营第一次作业train数据有整行重复的数据，需不需要去重？ 在CTR预测中，在抽取特征的过程中，用到了map的形式，在python中用了dict，那么当特征维度过大的时候怎么办，如超出字典的最大长度。实际应用中有没有什么更为巧妙而成熟的实现方式？ 之前的问题 test集预测结果后，计算auc的值一直为1? 问：测试集没有标签，怎么计算的AUC? 答：测试集没有label，设置一个阈值为0.5，大于0.5，label为1，小于0.5，label为0，然后计算auc。 推荐系统—排序篇 什么是推荐系统？ 物品 推荐系统 推荐系统是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的物品的系统 推荐系统两个阶段 召回阶段 排序阶段 召回出用户感兴趣的item 对这些item排序后展示给用户 推荐系统两个阶段 召回算法 基于内容 基于协同过滤 冷启动相关算法 推荐系统两个阶段 排序介绍 什么是排序 决定item以何种顺序展示给用户