互联网精准广告投放技术研发与应用示范.pptVIP

eCPM估计 点击率预测 点击预测概率模型: Regression比Ranking合适一些 广告的实际排序是根据eCPM，因此需要尽可能准确估计CTR，而不仅仅是各候选的CTR排序正确 新广告的cold-start 利用广告层级结构(creative, solution, campaign, advertiser)，以及广告标签对新广告点击率做估计 捕获点击率的动态特性 动态特征: 快速调整特征 在线学习: 快速调整模型 逻辑回归(Logistic Regression) Logistic Regression模型 logistic函数 (sigmoid函数一种) 视角1：Logistic regression为Generalized linear model 在Binomial error情形的特例 视角2：Logistic regression为Maximum entropy model在类数目等于2情形的特例 n维特征权重矢量(参数) n维特征矢量 逻辑回归优化方法 – L-BFGS BFGS (Broyden, Fletcher, Goldfarb, and Shanno) Quasi-Newton方法的一种，思路为用函数值和特征的变化量来近似Hession矩阵，以保证正定性，并减少计算量 BFGS方法Hession计算公式 (空间复杂度为O(n2) )： L(imited memory)-BFGS 将nⅹn的Hession阵用右图方式 加以近似(Bk为Hession近似) 空间复杂度降为将O(nⅹk), 在特 征量大时比BFGS实用 可以非常容易地用map/reduce实现分布式求解：mapper求部分数据上的梯度，reducer求和并更新参数 ADMM 方法 Alternating Direction Method of Multipliers形式 Augmented Lagrangian及迭代解法 Scaled Form: ( ) 逻辑回归的ADMM分布式解法 样本划分的逻辑回归ADMM问题 分布式迭代解 动态特征 - 多层次点击反馈 在标签组合维度上聚合点击反馈统计作为CTR预测的特征 优势: 工程架构扩展性强(与在线学习相比) 对新(a, u, c)组合有较强back-off能力 缺点: 在线特征的存储量大，更新要求高 组合维度举例: cookie(u) and creative(a) gender(u) and topic(c) location(u) and advertiser(a) Category(a) and category(u) cookie(u) creative(a) gender(u) 归一化点击率特征 - COEC 有效展示 可以通过Eye tracking测算 工程上可以使用Expected Click (EC)来近似有效展示 EC的计算 实测法：实际随机流量测算 Bias模型法：只使用与广告决策无关的bias特征训练的CTR模型：EC = pbias(a,u,c) 归一化点击率 是同样有效 的展示么？ 在线广告常见bias特征 广告位位置 搜索广告：North 1, North 2, …, East 1, East 2, … 显示广告：相对页面的(x, y) 广告位尺寸 广告位类型 门户首页, 频道首页, 内容页, 客户端, … 创意类型 图片, flash, 富媒体, … 操作系统和浏览器 日期和时间 点击反馈的平滑 问题: 在数据稀疏的情况下较稳健地估计CTR或COEC 经验贝叶斯方案 点击产生概率模型(Binomial分布, 其中 为点击率): 视 为随机变量, 采用Beta分布共轭先验进行regularization: 生成模型图示意: 经验贝叶斯解 E-step: M-step: 点击率的平滑通常在每个维度组合上分别进行 物理意义： 数据不足时，更依赖于相应维度组合的点击率先验值 维度组合内的点击率分散程度对先验值的作用有影响 思考：对COEC的平滑可以采用什么模型？ 正负例不均衡情况下的修正 正负例不均衡时，逻辑回归最大似然解是有偏的 参数w的偏差可以估计如下并加以修正 进一步考虑 , 可得ctr的Bayesian预测 评测指标 – PR曲线 PR curve 评测指标 – AUC ROC curve AUC 探索与利用 (EE) 问题 为长尾的(a, u, c)组合创造合适的展示机会以积累统计量，从而更准确地估计其CTR 提升整体的广告收入，即需要严格控制探索的量和有效性 方法思路 通常描述为Multi-arm Bandit (MAB) 问题 有限个arms(或称收益提供者)a,