和仲-阿里实时计算pdf.PDF

阿里实时计算 和仲  简介  模型  架构  未来 简介  花名：和仲  姓名：强琦  个人介绍：读书的研究方向是机器学习基础理论，毕业后 一直从事搜索技术的研发，08年进入阿里后也一直在搜索 和广告技术领域，12年加入集团数据平台事业部，致力于 打造开放的大数据供应链基础设施平台。对机器学习，分 布式计算，搜索广告技术都有浓厚的兴趣。  微博：和仲Q 简介 简介 面向应用 BI ISV 广 搜 天 淘 高 快 ... 告 索 猫 宝 德 的 CDO 面向服务 数据服务平台 安全 数据隐私 面向数据 通用数据体系 审计 数据跟踪 面向体验 开发者平台 计量 过程控制 面向计算 计算平台 监控 元数据 面向资源 阿里云 简介  实时  数据的时效性  计算的时效性  计算  可枚举  不可枚举  交互式（增量）  无状态  有状态  成本模型  数据复用程度  Pattern  预知pattern(数据，计算)  不可知  数据规模  大数据  “小”数据  实时数据的实时计算 模型 …… 假设有N条数据，M个资源，共有n个module。第i个module 的吞吐为OI,调度的资源数为Pi 模型 平均延 时  优：模型简单；吞吐； 离线  劣：数据时效性；倾斜； 计算  面向吞吐；兼顾延时  优：数据时效；倾斜友好  劣：建模复杂；调度复杂  面向延时；兼顾吞吐 集群吞吐 模型  增量模型  确定性  可加性  可逆性  交互式计算  并行DAG  Case t1 = select a, sum(b) as b’from t0 group by a; t2 = select count(a) from t1 group by b’/10; 粒度 计算 生命周期 容错监控 面向 DAG 全量