数据应用开发平台.ppt

淘宝数据应用开发平台;大纲;每日新增数据20T 累积数据14P 2000+服务器的云计算平台 每天处理100,000+作业任务，包括100+新增作业任务 每天处理1P+数据，包括0.5%新增数据;;;数据应用开发平台——数据工场 ;Gateway Servers;愿景和目标 降低数据开发门槛，人人都可以方便加工和获取数据 提升数据项目开发效率 有效控制计算存储成本 沉淀最佳实践，打造数据应用开发的标准 用户分类 非技术背景用户 技术背景用户 需求分类 ADHOC需求？ 类Excel查询工具 图形化拖拽 HIVE IDE 数据项目/数据产品？ 数据应用开发平台 ;数据字典， 知识库， 问答;数据工场关键服务——知识库（元数据管理）;其它服务;系统优化;数据工场关键服务——调度;;调度服务3.0;调度服务3.0 智能调度;数据工场关键服务———调度;a;全量/非实时同步;数据工场关键服务——IDE;数据工场关键服务—??RCP;;数据仓库表;对象（ Object ）： Hive table HDFS中的目录 动作( Action )： 仅保留，不作操作 删除 合并/压缩 极限存储 HDFS Raid 移动到其它文件系统 其它操作(可增加) 动作可以级联 规则( Rule )： 指定管理对象，在指定时间后，执行指定操作策略。 每个管理对象可以配置多条管理规则。 ;编辑SQL代码;总结