分布式流数据实时与持续计算平台.pdf

分布式流数据实时与持续计算分布式流数据实时与持续计算 强琦 hic2011 2011.12.3 提纲提纲 • 背景背景 • 目标 • 传统方案与业界传统方案与业界进展进展 • 设计理念(重点) • 技术架构 •• 要点要点 • 例子 • 系统边界 • 计划计划 背景背景 • 应用背景应用背景 – 数据量急剧增加 – Web 1.0web 2.0, publicego net –– 电子商务电子商务、、移动互联网移动互联网、、移动支付移动支付 – 欺诈、风控对海量交易实时性 – 用户体验的个性化和实时性 – 由点到面由点到面 • 实时搜索、个人实时信息服务、SNS等 背景背景 • 技术背景 – MapReduceMapReduce、、DryadDryad等全量等全量//增量计算平台增量计算平台 – S4 、Storm等流计算框架 – CEP以及EDA模型 – PregelPregel等图计算模型等图计算模型 传统方案与业界进展传统方案与业界进展 • 传统方案 – MAPREDUCEMAPREDUCE：：HDFSHDFS加载加载，，存储存储LOCALITY(LOCALITY(容错性容错性))，， 顺序IO，存储HDFS， 单输入，单输出 独立数据Di Latency(i) 输入 输入 计算 过程 下载 latency 输出 Map shuffleshuffle 独立数据独立数据DnDn Latency(n)Latency(n) reduce Mapreduce Job IProcess Job HadoopHadoop之于实时之于实时 • 问题问题((hhaddoop本质是为全量而生本质是为全量而生)) – 任务内串行 – 重吞吐量，响应时间完全没有保证 – 中间结果不可见中间结果不可见，，不可共享不可共享 – 单输入单输出，链式浪费严重 – 链式链式MRMR不能并行不能并行 – 粗粒度容错，可能会造成陷阱 – 图计算不友好图计算不友好 – 迭代计算不友好 图计算图计算 • MapReduce为什么不适合图计算为什么不适合图计算? – 迭代 – 边的量级远大于节点 • 图计算图计算特点特点 – 适应于事件机制，规模大(边)，但单条数据不大 – 很难分布式很难分布式(locality(locality、、partitionpartition，，一直都是难点一直都是难点)) – 容错性 – GGooglle PPregell • 本质上还是全量 • 中间结果不可见中间结果不可见 • 超步过多(IProcess)