Hive数据仓库实践-2.pdf

Hive数据仓库实践第2课 DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教学资料 ，所有资料只能在课程内使用，不得在课程以外范围散 播，违者将可能被追究法律和经济责任。 课程详情访问炼数成金培训网站 DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 第2课 Hive的基本概念与QuickStart DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 Hive简介  Hive是基于Hadoop的一个数据仓库工具  可以将结构化的数据文件映射为一张数据库表，并提供简单的类SQL(HQL)查询功能，可以将 HQL语句转换为MapReduce/Tez/Spark任务进行运行  学习成本低，可以通过类SQL语句快速实现简单的MR/Tez/Spark Job ，节省开发成本  适合数据仓库的ETL和统计分析  本课程基于CDH5.8.0的Hive版本（1.1.0-cdh5.8.0 ），仅支持Hive on MapReduce和Hive on Spark,以Hive on MapReduce为主 DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 Hive安装部署准备条件  OS ： – Linux(RHEL ，CentOS ，SUSE, etc) – 本实验环境采用CentOS  JDK – 推荐用Oracle HotSpot （JDK6+ ）  支持的Hadoop版本（1.x 2.x ）： • 本实验环境版本2.6.0-cdh5.8.0  Hive版本： • 本实验环境版本1.1.0-cdh5.8.0 DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 Hive安装配置  MetaStore部署 • 支持derby/mysql/msserver/oracle/postgresql • 一般采用MySQL • 采用安装包自带的初始化脚本初始化  Hive安装包部署 • 安装包或者rpm包安装  配置文件 ： • hive-env.sh （Hive环境变量相关） • hive-site.xml （Hive应用配置） DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 Hive初体验  进入CLI （敲hive命令）  输入HQL DATAGURU丏业数据分析社区 Hive数据仓库实践第一版 讲师朱广彬 Hive命令  不仅仅可以在CLI中输入HQL ，还支持command 命令 描述 quit /exit 退出Hive CLI set key=value 设置参数或配置变量 set 列出所有配置参数或变量 set -v