阿里大数据平台服务.pdf

御膳房-阿里大数据平台服务 王贲（陈廷梁） 2014-07 自我介绍 • 陈廷梁，花名：王贲 • 数据平台事业部-商家数据部-架构师 目录 • 御膳房简介 • 功能介绍 • 技术架构 • 未来规划 御膳房简介 • 对外提供一站式大数据服务的平台，让天下没 有难玩的数据 • 从提供酒菜到提供厨房 • 从自己玩数据，到提供平台enable大家玩数据 • Enable 数据交换和分享，数据驱动用户创造更 大商业价值 御膳房简介-云层 • PAAS – Data platform as a service – Data warehouse as a service – Data center as a service 御膳房简介-核心价值 • 阿里数据开放的平台 • 提供大数据存储计算能力 • 一站式数据开发引擎 • 云数据中心（仓库）解决方案 • 数据市场-数据交换分享 • 数据安全服务 御膳房简介-发展历程  2012.9 第一次亲密接触聚石塔商家后台团队  2012.10 开始规划聚石塔数据平台-御膳房  2012.10~2013.1 前御膳房  2013.3 御膳房0.1上线  2013.6 ODPS评测  2013.7 完成底层云化迁移，HIVE-ODPS，MYSQL-UMP(Unified MySQL Platform)  2013.8 M/R开发环境上线  2013.8 算法环境上线  2014.4 新算法环境上线  2014.6 御膳房成为阿里统一的对外数据平台服务，开始接入非电商市场 御膳房简介-业界动态 • Amazon Redshift • 京东云海：2014 御膳房功能-数据开发 第一步 看数据 御膳房开放商家、商品、品牌、客服相关的淘宝数据 ，为数据开发提供源动力 御膳房功能-数据开发 第二步 用数据—计算开发 御膳房提供IDE开发工具，通过提交SQL、M/R等程序玩转淘宝数据 御膳房功能-数据开发 第三步 部署任务 可根据需求对任务进行灵活部署 御膳房功能-数据开发 第四步 发布接口 简单的接口发布，通过TOP接口，拿到数据计算结果 御膳房功能-数据开发 MapReduce MapReduce简 称MR 平台也提供了 Eclipse开发插 件来辅助 MapReduce开 发与调试。 御膳房功能-数据开发 UDF User Defined Function ，即用 户自定义函数。 平台提供了 Eclipse开发插件 来辅助UDF开发 与调试。 御膳房功能-算法开发 御膳房功能-算法开发 基于 工具链 的一站式数据挖掘平台 * 虚线表示使用过程中的链式关系。工具可自由选择，两两之间，都可协同工作。 御膳房功能-算法开发 XLib XLib是ODPS的分布式算法库 ，支持分类预测、 回归 、聚类 、关联分析 、矩阵计算等。 御膳房功能-算法开发 XLib XLib是ODPS的分布式算法库 ，支持分类预测、 回归 、聚类 、关联分析 、矩阵计算等。 御膳房架构-按数据流分层 用 数据消费者（商家…) 数据生产者（ISV/商家…) 户 服 APP host in AE （TAE ，A