淘宝分布式大数据及实时流数据技术架构汇编.pptVIP

  • 7
  • 0
  • 约小于1千字
  • 约 48页
  • 2020-12-28 发布于福建
  • 举报

淘宝分布式大数据及实时流数据技术架构汇编.ppt

淘宝分布式太数据 及实时流数据 技术 提纲 背景 目标 ·传统方案与业界进展 设计理念(重点 技术架构 要点 例子 ·系统边界 ·计划 背景 ·应用背景 数据量急剧增加 Web10中Web2.0,pub|ic命 ego net 电子商务、移动互联网、移动支付 欺诈、风控对海量交易实时性 用户体验的个性化和实时性 由点到面 ·实时搜索、个人实时信息服务、SNS等 背景 ·技术背景 MapReduce、 Dryad等全量/增量计算平台 s4、 Storm等流计算框架 CEP以及EDA模型 Pregel等图计算模型 传统方案与业界进展 传统方案 MAPREDUCE:HDFS加载,存储L0 CALITY(容错性), 顺序I0,存储HDFS, 输入,单输出 输入 输入计算 过程 下载 输出 reduce Latency(n) Mapreduce Job PRocess Job Prege|ws. Process图计算 template typonare virtual void Compute(MessageIter estep(const const Vertexvalue Get Value) 6 Superstep 2 nat strings dest_vertex ·| Process 乱序执行,避免了不必要的超步 画实时图计算,图计算注定慢,但是效果的可以渐显。 迭代

文档评论(0)

1亿VIP精品文档

相关文档