hive编程入门课程——少杰.pdfVIP

Hive实战 少杰 Agenda • 简介 • 部署/配置 • Hive QL 编程 • 查询优化 • Hive QL vs. SQL 什么是Hive？ 建立在Hadoop 上的数据仓库基础构架 什么是Hive？ • Hadoop –Open Source MapReduce framework –Sponsored by Yahoo! • Hive –支持SQL语义的大规模数据分析工具 –离线/数据仓库应用 – File Processor –Sponsored by Facebook 为什么选择Hive？ • 为超大数据集设计的计算/扩展能力 –based on Hadoop • 支持SQL like查询语言 • 统一的元数据管理 为什么选择Hive？ • 简单 select word, count(*) from ( select explode(split(sentence. )) word from article ) t group by word Architect • Client端应用程序 • 元数据 • 编程接口 配置/部署 • 客户端 • 元数据服务器 Hive QL 编程 • SQL like, but not the same 数据模型 • Database • Table • Partition • File 数据类型 • Primitive – int / bigint / smallint / tinyint – boolean – double / float – string • Array • Map • Struct • 没有精度/长度设定 • 没有date / datetime 类型 DDL CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name (col_name data_type, ...) [PARTITIONED BY (col_name data_type, ...)] [ [ROW FORMAT row_format] [STORED AS file_format] | [ WITH SERDEPROPERTIES (...) ] ] [LOCATION hdfs_path] DDL • CTAS –CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name (col_name data_type, ...) … AS SELECT … DML • Load data – LOAD DATA [LOCAL] INPATH filepath [OVERWRITE] INTO TABLE t