48th-夏粉-广告数据上的大规模机器学习.pptVIP

* @夏粉 _百度 目录 背景 问题 技术 小结 计算广告学 计算广告学与 CTR 预估 ? 计算广告学的核心问题 : ? ? 流量变现: ? 方法: 依赖机器学习和历史数据，做精准 CTR预估 给定的环境下，用户与广告的最佳匹配 百度推广 profit ? PV * CTR * ACP q CTR 预估系统 CTR 预估问题 广告库 D ? {ad1 , ad2 ,?, adl } 广告请求 (i ) 广告的预估CTR Pctr _ ad1( i ) Pctr _ ad 2( i ) ? Pctr _ ad n(ii ) 点击率预估- 机器学习模型 数据处理流程 日志 特征预处理 特征 数据 数据预处理 模型训练 模型 评估 大规模机器学习问题 大规模机器学习问题 ?每天百亿广告展现，十亿特征 ?类别不平衡、噪音大 ?特征之间存在高度非线性关系 ? 点击率随时间变动， e.g., 兴趣变化 ? 新广告和流量上线，旧广告和流量下线 ? 模型更新 ? 策略调研 数据特征规模大 特征复杂度高 数据时效性高 数据训练频繁 大规模机器学习技术 数据处理技术 机器学习技术点 ? 选择对点击概率分布 预估足够多样本 ? 解决方法： ? ? ? 不可见和不完整样本过滤 样本采样 异常样本检测 目标 ? 获取主要信息 ? 去除异常噪音 数据采样 : ? Google: ? ? ? 采样： 矫正： 原理： 采样后的期望损失等于原损失 141 101 106 111 116 121 126 131 136 146 151 156 161 166 56 1 6 11 16 21 26 31 36 41 46 51 61 66 71 76 81 86 91 96 噪音检测 ? 计算点击率随时间变化趋势 –百度首创：SA 算法 0.4 0.3 0.2 0.1 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 随机噪音 sa=0.00275 0.012 0.01 0.008 0.006 0.004 0.002 0 正常样本 sa=-10.977 特征处理技术 目标 ? 选择尽可能少的特 征表示模型和数据 征 预估 机器学习技术 ? 特CTR选择 ? 特征删减 ? 特征类型： ? 类别型特征 (categorical features) 、连续值特征 ? 特征表示： ? 使用 one-hot编码类别型特征 特征海量！ 特征选择 Regularization term ，特征 选择 ，降低模型复杂度 数据拟合项：拟合训练数据， 使得预估 CTR尽可能靠近经验 CTR。 其中损失取似然损失 0% 97% Fea-G 0.006% 40% Poisson(p=0.1) 0.020% 60% Poisson(p=0.003) 0.003% 55% Bloom(n=1) 0.008% 66% Bloom(n=2) AucLoss升高 内存节省 方法 特征删减 ? 背景： ? 模型大小占特征大小比例极低 ? 技术挑战： ? 训练前，判断哪些特征权值为 0 谷歌 : 新特征按概率 p 加入 Bloom Filter+ 次数超过 n 百度首创 : Fea-G算法 : 理论保证效果无损 深度特征学习技术 ? 特征调研背景 ? ? 构造高阶组合特征，描述特征之间非线性关系 人工挖掘，耗时！耗力！依赖先验，无推广性！ ? ? 组合特征调研 单特征 ? site ? Ad ? hour ? Cookie ? …… 日志处理 特征抽取 组合特征 ? Site-Ad ? Site-hour ? Ad-cookie ? …… 模型训练 评估 假设有 N个单特征类，组合特征候选类： 2 N ? C1N ? CN2 ? ... ? CNN ?1 ? CNN 选最优特征类，需要时间： 2N 深度特征学习算法 ? 特征学习 ? ? 深度学习在语音、图像上取得突破性进展 广告数据特征维数非常高（单特征百亿），尚无大规模稀疏特征学习算法 ? DANOVA: 首个直接应用于大规模稀疏特征的深度特征学习算法 ? 上线效果 ? 特征挖掘效率提升上千倍 ? CTR ，CPM 显著增长 逐 层 贪 婪 学 习 高阶组合：Site-Ad-Cookie ，… 二阶组合：Site-Ad, Site-Hour, Ad-Cookie, … 单特征：S