阿里巴巴数据仓库技术.pptx

阿里巴巴数据仓库BI目录数据采集和流转2数据存储和计算3数据模型和开发4集团数据相关团队CEO陆兆禧业务共享平台三丰商业智能部品觉商家业务菲青CTO王坚阿里云…技术保障振飞CDO七公DW整体架构数据采集工具：TimeTunnel（TT）数据采集工具：TimeTunnel（TT）DHW（DataHighWay）基于Python支持多种数据源互导数据落地中转专属团队维护较为独立产品不开源DataX（DateExchange）基于Java支持多种数据源互导数据不落地支持插件式开发与周边工具集成开源数据交换工具离线计算集群云梯一（基于Hadoop）集群规模：2009年：200+2010年：500+2011年：1000+2012年：2500+（单机房）2013年：5000+（2机房）2014年：10000+（多机房）云梯二（基于飞天）集群规模：2009年：博士酝酿中2010年：启动2011年：进行中2012年：1500+2013年：2000+（单机房）2014年：超越云梯一（多机房）Hadoopvs飞天Hadoop飞天在线结构化数据存储和查询（NoSQL数据库）离线数据处理（SQL）分布式文件系统集群资源管理、大规模离线作业模型和调度Hadoop或者飞天独有的模块Hadoop飞天设计初衷提供软件提供通用服务，包括部署、监控、数据导入导出、工作流管理等周边关键组件架构设计目标源于Yahoo搜索，架构设计主要面向大规模的离线数据处理，在线服务支持薄弱阿里云服务的统一的底层平台，同一个系统要支撑离线和在线服务，甚至包括弹性计算等复杂场景目标受众面向企业内部用户面向互联网用户用户数量HundredsThousands安全认证相对简单的安全认证体系灵活多样的安全认证和授权体系计量简单的计量体系、一般没有计费体系完善的计量计费系统Hadoopvs飞天Galaxy（CDO）：Storm+SQL解析引擎+调度赤兔（CBU）：基于Storm虫洞（etao）：基于Storm支付宝：基于Storm/JStorm老Galaxy：C++版本类Storm架构聚划算：消息中心+Java在线计算集群即时计算集群（alipay等）即时计算集群（Taobao等）数据模型ODSBDSIDSADSODSDWInmon?Kimball?演示DXP数据开发平台完整（从生产到报表）动态更新反馈机制/links/datamap.htm?param=1037493type=D/s/metadata#controller:meta|guid:yunti1_hive.cbuapp.ids_cn_member_basic_fdt0元数据管理数据质量管理的正向通知Sample宏观、行业趋势类数据产品：数据魔方：/p/app阿里指数：/alizs/home.htm淘宝指数：数据开放类数据产品：淘宝开放平台（TOP）：聚石塔：/doc/detail.htm?id=101130数据超市：/index.htm数据化运营类数据产品：量子统计：生意参谋B版：生意参谋C版：（10月底上线）数据产品简单介绍ENDThankyou!