2016中国云计算技术大会-腾讯林立伟-Spark Streaming在腾讯广点通的应用.pdfVIP

中国Spark 技术峰会2016 Spark Streaming 在腾讯广点通的应用 关于腾讯广点通 腾讯社交广告( Tencent Social Ads ) • 基于腾讯社交网络体系的广告平台 流量覆盖 • QQ 客户端、手机QQ • 微信 • QQ 音乐客户端、腾讯新闻客户端 主动型效果广告 • 有效实现更加智能的广告匹配和高效的广告资源利用 广告形式 • Banner 广告、插屏广告、开屏广告、信息流广告等 广点通与Spark Streaming Spark 0.x ~ 1.1 社区贡献 • 调研、试验 Spark 1.2 ~ 1.6 • 使用 • 1.2 加入了driver 故障恢复 左侧图片来源：/blog/2015/07/30/diving-into-spark-streamings -execution-model.html Agenda 概述 • Spark Streaming 基本架构 • Spark Streaming at 广点通 特性与应用 优化经验 Spark Streaming 基本架构 图片来源：/2015/11/30/spark-streaming -what -is-it-and-whos -using-it/ Spark Streaming 基本架构 Worker Node Driver Program Executor input StreamingContext stream Long Receiver Task Spark Jobs to process received data Spark context Worker Node tasks Executor output process results received data in batches Task Task Spark Streaming at 广点通 腾讯Spark 技术栈（powered b