基于开源软件构建腾讯大数据平台.pdfVIP

基于开源软件构建腾讯 大数据平台 2014.03 赵伟  2009年毕业亍哈尔滨工业大学  毕业后加入腾讯数据平台部，参与腾讯大数据平台 TDW项目研发，目前是TDW技术负责人  在腾讯引入和推广了Hive、Pig、PostgreSQL、 ZFS等开源技术，同时负责TDW开源工作  PG的中文分词插件zhparser • /amutu/zhparser 提纲 • 腾讯大数据平台介绍 • 相关开源软件及其优化 • 大数据平台开源与开放 腾讯大数据平台-TDW • 腾讯分布式数据仓库，简称TDW • 基亍Hadoop、Hive和PostgreSQL之上，进行 了大量定制和优化 • 腾讯内部最大的分布式系统 • 公司级数据仓库，集中了各业务有价值的数据 • 对腾讯内部提供离线海量数据分析服务  数据挖掘  产品报表  经营分析 TDW核心架构 Lhotse 精准推荐 业务报表 IDE T d 统一调度 b a n D k A TDW Core T A 数 数据挖掘 用户画像 据 PG 采 查询 计算 存储 集 引擎 引擎 引擎 TDW运营情况  最大集群节点数：5000台+  总数据量：70PB+  TDW活跃用户数：700人+ ，总用户1500人+  日均运行SQL ：40w条+ ，计算量约3PB TDW单集群规模发展 200台 440 台 2011.6 2012.6 4400 台 2013.6 6000台 2014.6 8800台 2014.12 提纲 • 腾讯大数据平台介绍 • 相关开源软件及其优化 • 大数据平台开源与开放 构建TDW 的开源软件 • Hive – 研发投入最大的模块，一度有近20人的研发团队 – 在功能、稳定性、性能上做了大量改进 – 计划将腾讯Hive分支对外开源 • Hadoop – 主要解决Master瓶颈，以支撑更大规模的集群 – 将在年内替换为社区Hadoop 2.x版本 • PostgreSQL – 功能强大，且很稳定，没有对它进行修