- 7
- 0
- 约小于1千字
- 约 48页
- 2020-12-28 发布于福建
- 举报
淘宝分布式太数据
及实时流数据
技术
提纲
背景
目标
·传统方案与业界进展
设计理念(重点
技术架构
要点
例子
·系统边界
·计划
背景
·应用背景
数据量急剧增加
Web10中Web2.0,pub|ic命 ego net
电子商务、移动互联网、移动支付
欺诈、风控对海量交易实时性
用户体验的个性化和实时性
由点到面
·实时搜索、个人实时信息服务、SNS等
背景
·技术背景
MapReduce、 Dryad等全量/增量计算平台
s4、 Storm等流计算框架
CEP以及EDA模型
Pregel等图计算模型
传统方案与业界进展
传统方案
MAPREDUCE:HDFS加载,存储L0 CALITY(容错性),
顺序I0,存储HDFS,
输入,单输出
输入
输入计算
过程
下载
输出
reduce
Latency(n)
Mapreduce Job
PRocess Job
Prege|ws. Process图计算
template typonare
virtual void Compute(MessageIter
estep(const
const Vertexvalue Get Value)
6
Superstep 2
nat strings dest_vertex
·| Process
乱序执行,避免了不必要的超步
画实时图计算,图计算注定慢,但是效果的可以渐显。
迭代
原创力文档

文档评论(0)