阿里巴巴离线大数据处理平台概述.pptxVIP

阿里巴巴离线大数据处理平台概述第2页/共30页大数据时代第3页/共30页大数据时代的挑战第4页/共30页阿里巴巴的大数据产品探索第5页/共30页淘宝贷款解决小微企业贷款难的问题：金额高流程长授信难周期长完全以数据驱动的产品对既有数据进行二次挖掘颠覆原有业务模式规模优势第6页/共30页阿里巴巴大数据事业部第7页/共30页阿里巴巴离线大数据处理平台ODPS (Open Data Processing Service)支持海量结构化数据的离线存储和计算以RESTful API的方式提供服务基于阿里巴巴自主知识产权的分布式操作系统支持高吞吐量的数据上传下载服务支持SQL和存储过程支持MapReduce、BSP编程框架支持常用的矩阵运算和数据挖掘算法支持多用户管理和基于ACL和policy的权限控制基于ODPS可以打造完整的数据仓库解决方案第8页/共30页我们面临的主要问题第9页/共30页高效稳定的计算模型SQL、Map Reduce仍然是离线运算的主流，但是，频繁IO带来的性能瓶颈…模型描述能力的局限…第10页/共30页准实时查询优势：避免IO消耗节约调度成本劣势：Failover资源占用数据规模适用场景：Ad hoc分析第11页/共30页图编程功能：统一的API、授权、数据存储、metaMaster-slave，worker负责子图通过迭代在节点间通讯和修改图拓扑挑战：数据倾斜时的内存控制与其他类型作业共存错误恢复优势：方便处理图数据多轮迭代性能远好于MR应用场景：推荐、社交网络、物流、…第12页/共30页利用图编程实现SSSP算法(1)GraphLoader – 图加载基类 public static class SSSPGraphLoader extends GraphLoaderLongWritable, LongWritable, LongWritable, LongWritable { @Override public void load(Record record, MutationContext... context) { SSSPVertex vertex = new SSSPVertex(); vertex.setId((LongWritable) record.get(0)); String[] edges = record.get(1).toString().split(,); for (int i = 0; i edges.length; i++) { String[] ss = edges[i].split(:); vertex.addEdge(new LongWritable(Long.parseLong(ss[0])), new LongWritable(Long.parseLong(ss[1]))); } context.addVertexRequest(vertex); } }第13页/共30页利用图编程实现SSSP算法(2)Vertex – 点基类public static class SSSPVertex extends VertexLongWritable, LongWritable, LongWritable, LongWritable { @Override public void compute(ComputeContext… context, Iterable messages) { long minDist = (getId() == 1) ? 0 : Integer.MAX_VALUE; for (LongWritable msg : messages) { if (msg minDist) { minDist = msg; } } if (minDist this.getValue()) { this.setValue(minDist); for (Edge e : this.getEdges()) { context.sendMessage(e.getDestVertexId(), minDist + getValue()); } } else { voteToHalt(); } } }第14页/共30页利用图编程实现SSSP算法(3)第15页/共30页矩阵和算法运算支持基于MPI的算法运算包图形化交互界面支持算法：SVD分解逻辑回归随机森林…连接R与ODPS集成ODPS的算法- ODPS第16页/共30页多集群架构业务增长的速度永远快于技术完善的速度，如何支撑日益膨胀的存储和计算需求？第17页/共30页多集群架构多计算机群解决规模瓶颈统一meta准实时数据同步减少热数据跨机房业务迁移多控制机群灰度发布业务分离第18页/共30页多租户模型如何支持多个团队在一个平台上开发