阿里巴巴-开发数据处理服务.pdf

阿里巴巴-开放数据处理服务 （Open Data Processing Service, ODPS） 数据平台事业部 –杨少华 提纲 • 背景与概况 • 服务架构 • 关键技术 • 服务管理 • 结语 2 背景 •海量数据处理和分享需求 – PB级电商交易数据 – 阿里系各事业部、合作伙伴的数据交换和融合 – 第三方公司的数据处理需求 •典型数据业务 – 信用贷款/广告DMP 3 高可用 ODPS 云计算 服务 服务概况 • 集群 • 业务 – 多个集群 – 数百数据开发工程师 – 单集群规模 – 机器：5000台 – 阿里系各事业部 – CPU ：10万核 – 开始为部分第三方ISV和 – 内存：500TB 科研机构开放数据存储和 分析能力 – 磁盘容量：100PB • 负载 – 亿级别文件 – 作业量：5万/天 – 作业I/O：PB级别/天 5 提纲 • 背景与概况 • 服务架构 • 接入层 • 逻辑层 • 存储与计算层 • 关键技术 • 服务管理 • 结语 6 服务架构 POST http ://xxx/projects/projectname/jobs xmlinsert overwrite table d select * from s;/xml LVS 负载均衡 接入层 协议处理、用户认证 RESTful协议 用户空间管理，Query语法语 逻辑层 义分析以及执行计划生成， 数据对象访问控制 存储与计算层 分布式存储和计算 7 接入层 • 访问ODPS服务的唯一入口，提供SDK和Console •