腾讯OMG广告大数据实践pdf-Yeolar.PDFVIP

腾讯OMG广告大数据实践 李曙鹏 高级工程师 1 2 腾讯OMG广告大数据实践 李曙鹏 大 纲 业务概况 典型广告数据应用 数据应用架构支撑  日志收集利器CloudDumper  日志实时session化  查询引擎：在sparksql上构建cubes 3 腾讯OMG广告业务概况  服务视频和新闻为主的媒体广告变现  每日服务数百亿广告曝光  年广告收入达百亿级 典型广告数据应用  在线数据服务  实时播控：CPM合约广告，实时计算订单级别的曝光频次，并进行播放控制。  点击率预估：CPC效果广告，基于在线曝光、点击流量生成带特征的正负样本数据， 点击率模型训练，在线预估。 典型广告数据应用  离线数据分析  报表类查询：售卖漏斗分析、流量漏斗分析、收入结构分析等  自助查询分析：满足各部门的商业分析需求，支持任意维度的交叉分析 关键挑战 三种数据形态以及对应的关键挑战 广告数据查询引擎 实时session系统 关键挑战: 灵活的业务模型、更 CloudDumper 丰富的维度、高效查询响 收集分拣系统 关键挑战: 应、数据一致性 （尤其是 超长时间窗口聚合， 收入指标） 高吞吐和低延时 关键挑战： 广告维度模型： 快速可靠实时接入 面向维度（广告位、平 台、地域等）、指标（曝 广告SESSION ： 光量、点击量、收入）的 包括检索属性、曝光 可聚合数据，历史总量PB 属性、点击属性、用户特 级、单表最大200T，100+ 广告日志数据： 征兴趣、历史广告行为、 维度。 检索、曝光、点击原始日 订单信息、广告位信息等 志，每天30T+，300亿+条 数据收集利器: CloudDumper 业务接入概况  接入腾讯网、腾讯视频、新闻客户端 、微信/手Q新闻插件等业务  下游对接15+个实时计算应用  一些运营数据：  日均原始日志约300亿条，约30T+  峰值QPS 100W/S, 平均延时秒级 打造一个“数据总线”，满足：  数据集中接