hive在腾讯分布式数据仓库-腾讯.pdfVIP

HIVE在腾讯分布式数据仓库 实践分享 赵伟 2012-12-1 自我介绍 赵伟  2009年加入腾讯 仸职亍数据平台部 一直从事海量数据处理平台研发工作 熟悉hive、hadoop、postgreSQL等技术 提纲 腾讯分布式数据仓库介绍 HIVE在TDW中的实践 TDW HIVE接下来的工作 TDW简介 • 腾讯分布式数据仏库，简称TDW • 基亍Hadoop、Hive和PostgreSQL乊上，进行 了大量定制和优化 • 腾讯内部最大的分布式系统 • 公司级数据仏库，集中了各业务有价值的数据 • 对腾讯内部提供离线海量数据分析服务  数据挖掘  产品报表  经营分析 TDW特性 特性 说明 存储和计算容灾 集群中个别节点down机不影响存储和计算 存储和计算线性扩展 通过添加节点线性扩展存储和计算能力 select、insert、join、where、groupby、having、limit SQL语言 、orderby、分区、视图等 SQL函数 简单函数、聚合函数、窗口函数、数据挖掘函数 过程语言 以python语言为母体的PL/python 多维分析 rollup、cube、grouping MapReduce 允许提交MR任务 多种存储结构 文本/结构化/列存储/ProtoBuf/DB存储 SQL/MED 可访问和管理PostgreSQL、Oracle数据 开发工具 集成开发环境TDW IDE、命令行工具PLClient 任务调度系统 图形化的任务依赖配置、数据流转配置 系统DB 元数据与普通表一样可以通过TDW SQL进行访问 Show processlist、kill query、select expr、insert 其他 values、show create table、comment on操作等 TDW核心架构 IDE、CLI HIVE:SQL翻译为MR/PGSQL MapReduce:并行计算 Postgre SQL:小 数据存 API 储与计 HDFS:分布式存储