hive使用分享.pptx

大数据处理Hive HBase 陈涛 (taochen4@)建议听众面向大数据开发人员具有分布式系统、分布式计算、大数据的概念了解Apache Hadoop不涉及大数据相关算法Hive管理员相关知识Hadoop生态圈Outline (hive)Hive overviewConcept in HiveData organizationData Type Read WriteRelationship with HadoopDML ( Data Manipulation Language ) DDL ( Data Definition Language )UDFOptimizationHive overviewFacebook 开源，构建与Hadoop，大数据平台下类数据库工具Why Hive?用途面对开发者 – 减少开发MR的成本非开发者（如产品经理） - 类SQL，学习成本低使用场景构建数据仓库数据分析不适用场景复杂算法，如MLRelationship with Hadoop数据保存 数据存储到HDFS，用户可修改任务执行 Hql = MapReduce任务触发MR条件 存在计算函数Concept in HiveHive CLIhadoopMeta StoreHive Server2ClientHive CLI (beeline)Hive的shell，用户客户端Hive Server 2提供服务给没有hive shell的用户使用thrift-rpc、jdbc接口Meta Store用来保存数据的元信息，如表结构、字段信息一般使用Mysql与关系数据库的区别数据读写存储不支持事务 Data organizationTable Data In HDFSpartitionpartitionpartitionbucketbucketbucketbucketbucketbucketbucketbucketbucketbucketbucketbucketTable 保存单位Partition 数据分块Bucket 查询优化Orc 存储优化Data Type Read Write数据类型 基本数据类型该有的都有 复杂数据类型：Map List Struct UnionRead输入HDFS上的文件读时模式 – check format when readingWrite使用Hive serialization输出可为表、HDFS路径DDL (create table)CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name?[(col_name data_type [COMMENT col_comment], ...)]?[COMMENT table_comment]?[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]?[STORED AS file_format]?[LOCATION hdfs_path]?[AS select_statement]; CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name LIKE existing_table_or_view_name [LOCATION hdfs_path];?另外可指定 排序列、索引、倾斜列、序列化方式等DDL (alter table)// 修改表属性ALTER TABLE table_name SET TBLPROPERTIES table_properties;// 添加 Partition到指定路径ALTER TABLE page_view ADD PARTITION (dt=2008-08-08, country=us) location /path/to/us/part080808 PARTITION (dt=2008-08-09, country=us) location /path/to/us/part080809;// 删除partitionalter table table_name drop partition (dt=‘2014-05-12’)DDL (几个常用命令)Desc table_name;Desc extended table_name;Desc formatted table_name;Show create table table_name;Show partitions table_name;DML (select)SELECT [ALL | DISTINCT] s