大数据实时处理架构实践－朱健.PDF

大数据实时处理架构实践 朱健 提纲 实时计算简介 一个工程实践 系统设计建议 讨论和展望 什么是实时计算 低延时的流式数据处理  离线计算的补充  业务发展和技术进步的必然需求 关键点  分布式流式数据  低延迟 实时计算的要求 功能 性能 正确 可靠 如此多的选择 构建实时计算系统难点 坏消息：四座大山 功能 性能 正确 稳定  误区：不是离线任务的实时化 一个工程实践例子 业务需求和挑战 实时呈现广告主展示、点击、消耗数据 •数据量大：10w+ QPS •数据延时低：一分钟之内 •数据准确无误 •高可靠7x24 系统构想图 输入数据 计算 结果存储 离线计算 流式 数据 计算 结果存储 实时计算 kafka spark streaming mysql Spark streaming简介 RDD ：分布式的可恢复数据集合，spark基于此做运算 Dstream ：把stream离散化成单个的RDD ，运行spark引擎 实际的系统架构 HDFS clicks Rdd1+offset1 UNION GROUP result mysql COUNT,SUM impr Rdd2+offset2 check monitor Error- point detect Ignore- Check- bomb Start-stop mark point HDFS Spark-sql mysql 功能：多个流的处理 设计思路  输入2个流：点击、展现  点击和展现映射为2个表 ，执行Spark-SQL求出结果