hive简单介绍以及配置文档.docVIP

Hive ? 什么是Hive ? Hive的原理 ? Hive简介 ? Hive的表 ? Hive的元数据 ? 分区 ? 执行计划 ? Hive的UDF和UDAF ? Hive与MapReduce比较 版权所有 严禁拷贝 Hive 数据仓库 Data Warehousing at Facebook Web Servers Scribe Servers Filers Oracle RAC Hive on Hadoop Cluster Federated MySQL What is Hive 构建于hadoop的hdfs和mapred之上，用于管理和查 询结构化/非结构化数据的数据仓库。 ?使用HQL作为查询接口 ?使用HDFS作为底层存储 ?使用MapRed作为执行层 ? ROW FORMAT DELIMITED FIELDS TERMINATED BY \t 介绍两个非常棒的工具 ? Impala ? Presto 版权所有 严禁拷贝 What is Hive What is Hive Hive 应用 Hive Application Cases 某视频播放和搜索指数 HiveQL vs SQL 对比项目 Hive SQL 数据插入 支持批量导入 支持单条和批 量导入 数据更新 不支持 支持 索引 支持 支持 分区 支持 支持 执行延迟 高 低 扩展性 好 有限 Hive部署及安装 1. 下载tar.gz，解压缩 2. 设置HADOOP_HOME 3. 为什么使用JDBC连接数据库做Metastore 4. 访问Hive 通过 thrift或JDBC 5. Hive与其他数据库的对接与数据ETL Hive部署及安装 ? hive 的元数据存储 ? hive默认使用内存数据库derby存储元数据，使用时不 需要修改任何配置，缺点：hive server重启后所有的元 数据都会丢失 ? hive还执行mysql、oracle等任何支持JDBC连接方式的数 据库来存储元数据，需要修改相应的配置项 Hive部署及安装 Hivede 的访问 (1) cli这个就是Command Line Interface的简写，是 Hive的命令行界面，用的比较多。这是默认的服务， 直接可以在命令行里面使用。 （2）hiveserver：这个可以让Hive以提供Trift服务的 服务器形式来运行，可以允许许多不同语言编写的 客户端进行通信。使用需要启动HiveServer服务以和 客户端联系，我们可以通过设置HIVE_PORT环境变 量来设置服务器所监听的端口号，在默认的情况下， 端口为10000。可以通过下面方式来启动hiveserve: [hive@master ~]$ bin/hive --service hiveserver -p （3）hwi：其实就是hive web interface的缩写，它是 Hive的Web接口，是hive cli的一个web替换方案。 HiveQL 1. Select * from db.table1 2. Select count distinct uid from db.table1 3. 支持select、union all、join（left、right、mapjoin） like、where、各种聚合函数、支持json解析 4. 类SQL，并不完全支持 HiveQL 1. Hive建表语法 HiveQL hive建表语法格式 ? external 外部表，类似于mysql的csv引擎 ? partitioned by 指定分区字段 ? clustered by sorted by 可以对表和分区 对某个列进行 分桶操作，也可以利用sorted by对某个字段进行排序 ? row format 指定数据行中字段间的分隔符 和数据行分 隔符 ? stored as 指定数据文件格式：textfile sequence rcfile inputformat (自定义的inputformat 类) ? location 指定数据文件存放的hdfs目录 HiveQL hive建表语句 CREATE TABLE page_view (viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT IP Address of the User) COMMENT This is the page view table PARTITIONED BY(dt STRING, country STRING) CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKE