分布式流数据实时计算平台-iprocess.pdf

分布式流数据实时计算平台 iprocess 强琦 搜索平台 2011-6-30 OutlineOutline • 业界的业界的分布式计算产品分布式计算产品 • 实时计算的背景 •• 当前当前产品的产品的应用场景应用场景和局限性和局限性 • 搜索，广告业务实时计算的需求 • 分布式流数据实时计算分布式流数据实时计算平台平台ipprocess简介简介 • iprocess的架构和计算模型 • 如何编写iprocess的job • 应用和进展 • 实际例子 • 未来规划未来规划 • QA 业界的业界的分布式计算产品分布式计算产品 • GFS2,Bigtable,Megastore,Spanner • MapreduceMapreduce,HadoopHadoop OnlineOnline,MapreduceMapreduce merge • S4,Dryad,Pregel,Dremel • CloudscaleCloudscale,, perccolatorperccolator,, CaffeineCaffeine • … 方法论方法论 • What?是什么？ • WhyWhy？？为什么为什么？？ • Why not？为什么我没有想到这一点？ • What？它有什么缺点？ •• BetterBetter？？有没有更好的有没有更好的？？ • WWWWB会贯穿整个分享。 MapreduceMapreduce MapreduceMapreduce-shuffleshuffle MapreduceMapreduce-接口接口 • Map • ReduceReduce • Combine • Partition •• GroupGroup MapreduceMapreduce特点和应用场景特点和应用场景 • 特点特点 – LOCAL – 单单jjobb内串行内串行 – 高吞吐量 – 模型简单模型简单 – 。。。 •• 应用场景应用场景 – “重”计算（批量计算） – DataData balancebalance computationcomputation balancebalance – 非图运算 – 非迭代运算非迭代运算 HadoopHadoop OnlineOnline Schedule Schedule + Location map reduce Pipeline request mapmap reducereduce HadoopHadoop onlineonline • WWWWB? MapreduceMapreduce mergemerge map: (k1, v1) [(k2, v2)] redu