《推送背后的大数据系统》.pdf

ArchSummit全球架构师峰会深圳站2016 推送背后的大数据系统 袁凯@个推 主要内容 • 个推推送业务数据背景 • 我们面临的挑战 • 大数据系统演进之路 • 经验与总结 • QA 个推推送业务数据背景 （2016.06 ） • SDK累计安装覆盖量达90亿（含海外） • 接入应用超过43万 • 接入开发者超过22万 • 独立终端覆盖超过10亿 （含海外） • 日均活跃用户近7亿 • 同时在线超过3.5亿 • 日分发消息29亿条 我们面临的挑战 • 数据存储(PB级别) • 日志传输(10TB+/day、实时) • 日志分析处理(日常定时执行、交互式) • 大量任务调度和管理(2K+ jobs/day) • 数据分析处理服务高可用 • 海量多维度报表(推送、用户等) • 用户画像(标签系统等) • 快速响应分析和取数需求(开发、分析、运营人员等许多业务方) 个推大数据系统演进之路 统计报表 大数据基础建设 工具+服务+产品 2014年之前 2014-2015年 2016年 演进之——统计报表计算 平台节 点-1 平台节 日志存储节 日志计算节 Mysql 点-2 点 （多台） 点（多台） 平台节 Redis 点-N 业务特点: • 传输上只需要运维定时脚本传输到指定中间节点 • 用户虽然有亿级别但是日志种类比较单一 • 统计处理需求只需要使用简单shell、php脚本采用多进程模式运行在多台高配置的主机上即可满足。 • 数据只是需要保存短期 （结果集长期保存、中间数据和原始数据很短时间）。 演进之——大数据基础建设 ：离线批处理系统 平台节 点 平台节 日志临存 Mysql HDFS Hive/MR/Mahout 点 储节点 Cluster 平台节 点 HBase 业务特点: • 用户数量暴增，客户报表和内部统计分析需求复杂（海量、多维度）。 • 很多需求需要在T+1时间内满足（用户标签更新、日常取数、报表等）。 • 数据需要保存更长的周期（挖掘、统计）。 演进之——大数据基础建设 ：实时处理系统 平台节 日志存储 Hive Mysql 点 节点 HDFS Mapreduce Cluster Spark 平台节 点 camus Codis f l u m 平台节 e