Hive编程入门-weibo.pdf

Hive 编程入门 集团技术平台部-核心系统-海量数据天 照 1 Agenda • 简介 • 部署/配置 • Hive QL 编程 • Hive QL vs. SQL 什么是Hive ？ 建立在 Hadoop 上的数据仓库基础构架 什么是Hive ？ • Hadoop – Open Source MapReduce framework – Sponsored by Yahoo! • Hive – 支持SQL语义的大规模数据分析工具 – 离线/数据仓库应用 – File Processor – Sponsored by Facebook 为什么选择Hive ？ • 为超大数据集设计的计算/扩展能力 – based on Hadoop • 支持SQL like查询语言 • 统一的元数据管理 为什么选择Hive ？ • 简单 select word, count(*) from ( select explode(split(sentence. )) word from article ) t group by word 整体架构 Oracle 备库 MySQL 备库 日志系统 爬虫数据 DataExchange DataSync TimeTunnel 统 系 度 Gateway Servers 调 网 Hadoop Cluster:云梯1 天 Map Reduce Java Streaming Jobs Hive Jobs Jobs 数据平台 搜索 广告 BI 支付宝 口碑 B2B 云梯2 数据魔方 量子统计 淘数据 推荐系统 搜索排行 … 7 Architect • Client端应用程序 • 元数据 • 编程接口 配置/部署 • 客户端 • 元数据服务器 客户端部署 • 依赖