TDW在Hadoop上实践分享.pdfVIP

TDW在Hadoop上的实践分享 2012年5月 腾讯公司 郭玮 Agenda  腾讯公司的海量数据处理平台  腾讯分布式数据仓库（TDW ）  TDW在Hadoop上的实践 腾讯公司的产品 腾讯海量数据处理平台 统一数据流工作流管理（USP） 流式计算 实 实 时 产 时 统 分 采 一 发 品 统 集 海量 分布式数据仓库 分 一 存储 （TDW ） 发 批 产 采 量 集 分 品 离 批量 发 线 处理 采 分布式计算平台 集 （TDCP ） BI 分析库 海量数据平台 Agenda  腾讯公司的海量数据处理平台  腾讯分布式数据仓库（TDW ）  TDW在Hadoop上的实践 TDW是什么 分布式数据仓库(TDW)  Tencent distributed Data Warehouse  腾讯海量数据处理平台的核心部件  基于开源软件hadoop和hive ，大量的优化和改造 TDW特性列表（部分） 特性 说明 存储和计算天然容灾 集群中个别节点down机不影响存储和计算 存储和计算线性扩展 通过添加节点线性扩展存储和计算能力 select、insert、join 、where、groupby、having、limit、 SQL语言 orderby、分区、视图等 SQL函数 简单函数、聚合函数、窗口函数、数据挖掘函数 过程语言 以python语言为母体的PL/python 多维分析 rollup、cube MapReduce 允许提交MR任务 多种存储结构