李锐 hbase上搭建广告实时数据处理平台.pdfVIP

hbase上搭建广告实时数据 处理平台 腾讯广点通腾讯广点通WRAPENGINEWRAPENGINE项目项目 李锐 广点通广点通 • 基于腾讯社交体系的效果广告平台基于腾讯社交体系的效果广告平台 • 流量 – QQ – QQ 空间空间 – 微信 – 移动联盟 – 等等 • 智能精准定向 – 用户特征 • 背景背景：：广告数据流广告数据流 背景背景 • 实时storm+离线mappreduce计算 ，，多维度分析析 • 难点：如何把大量的信息从广告选取阶段传递至广告点击的模型训练？ • Proto buffer • 实时日志关联 技术选型技术选型(1)(1) 方案方案一： • 广告请求时把信息编码到广告url里面。 • 曝光和点击的时候再上报。 • 缺点： – 广告url过长，“偷”用户流量，移动端优质APP难以接受。 – 不能放入过多的信息。 技术选型技术选型(2)(2) 方案方案二： • 在storm里面实现流式关联 • 缺点缺点 ： – storm数据无法落地，需要有额外的存储方案解决storm重启的问题 – 20%的曝光在广告请求20min以上， 内存无法缓存如此长时间的请求数据。 技术选型技术选型(3)(3) 方案三方案三： • 在storm里面实现流式关联 • 中间数据写到磁盘排序文件，比如sstable • 追加追加 日志志 • 排序文件的合并 • 读写数据缓存 • 过期数据淘汰 • 缺点： – 开发周期过长，跟hbase功能重合 技术选型技术选型(4)(4) 方案方案四： • 广告请求信息写入hbase • 广告曝光和点击时查询hbase，做日志关联 • 优点： – 大部分的查询能命中cache 技术选型技术选型(5)(5) 为何不用为何不用： • Impala • Spark • Cassandra 技术方案技术方案 –整体框架整体框架 技术方案技术方案 –整体框架整体框架 • 每次广告请求分配唯每次广告请求分配唯一idid • 关联表： – 收集请求日志，按id为key写到hbase关联表 – 曝光曝光和点击点击 日志志，按按id 查关联表查关联表 技术方案技术方案 –keykey 的设计的设计 • 避免热点 • Key前缀加分桶打散 数据 • 支持按时间段小批量 构建模型 • Key中间放时间戳 技术方案技术方案 –EXACTEXACT ONCEONCE • 如何保证点击等计费信息不重不丢？ • 上游发送数据失败时上游发送数据失败时 ，进行重试进行重试。 • logjoin输出到下游的时候通过hbase进行去重 技术方案技术方案 –EXACTEXACT ONCEONCE •后台离线对线对账。 技术方案技术方案 –处理数据乱序处理数据乱序 • 由于跨地域传输，机器偶尔卡住等原因，有时曝光和点击比请求日志早到。 • 当请求日志延迟时当请求日志延迟时，缓存点击日志到磁盘缓存点击日志到磁盘 ，然后离线重试然后离线重试。 技术方案技术方案 –处理数据乱序处理数据乱序 • 约约1/101/10的请求晚于曝光日志的请求晚于曝光日志 •