Hive基础与编程.pptx

2014年中国电信大数据技术与应用培训Hive基础与编程江西电信大数据支撑团队2014年06月目录1、Hive简介2、Hive开发工具3、Hive的表4、Hive的元数据5、Hive分区6、Hive编程7、HiveQL优化8、HiveSQL与SQL的比较9、Hive的用户自定义函数主题一：Hive简介Hive是什么？Hive是基于Hadoop的一个数据仓库工具；使用hadoop-hdfs作为数据存储层；通过hadoop-mapreduce完成数据计算，提供类似SQL的语言（HQL）；通过HQL语言提供使用者部分传统RDBMS一样的表格查询特性和分布式存储计算特性；其优点是学习成本低，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。主题一：Hive简介Hive不是什么Hive运算基于Hadoop的MapReduce模型，MapReduce不能保证低延迟。因此，hive的查询也不能保证低延迟。Hive的工作模式是：提交一个任务，等到任务结束时被通知，而不是实时查询。相对应的是，类似于Oracle这样的系统当运行小数据集的时候，响应非常快，可当处理的数据集非常大的时候，可能需要数小时。需要说明的是，hive即使在很小的数据集上运行，也可能需要数分钟才能完成。总之，低延迟不是hive追求的首要目标。Hive的设计目标是：可伸缩、可扩展、容错及输入格式松耦合。主题一：Hive简介Hive与传统数据库的异同查询语言HQLSQL数据存储位置HDFSRaw Device（裸设备）或者Local FS数据格式用户定义系统决定数据更新不支持支持索引有有执行MapReduceExecutor分区支持支持执行延迟高低可扩展性高低数据规模大小数据检查读时模式写时模式主题一：Hive简介Hive架构主要分为以下几个部分：用户接口主要有三个：CLI，Client 和 WUI元数据存储Hive 将元数据存储在数据库中，如 oracle、mysql、derby等解释器、编译器、优化器、执行器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成HadoopHive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成主题一：Hive简介Hive开发语言Hive提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，通常称之为：HQL不支持：INSERT……VALUES、UPDATE和DELETE等操作BEGIN、COMMIT和ROLLBACK等操作主题二：Hive开发工具命令行接口方式Web接口方式Thrift Server方式主题二：Hive开发工具命令行接口方式示例HQL语句：select a.acc_nbr from tb_mid_serv_day a$HIVE_HOME/bin/hive -e select a.acc_nbr from tb_mid_serv_day a‘使用静音模式执行HQL$HIVE_HOME/bin/hive -S -e select a.col from tab1 a主题二：Hive开发工具Web接口方式Hive的web界面：HWI HWI是Hive Web Interface的简称，是hive cli的一个web替换方案。HWI与CLI对比的优缺点：优点：HWI支持浏览器的方式浏览，方便直观。缺点：无执行过程提示。主题二：Hive开发工具Thrift Server方式Squirrle SQLToad For CloudCloudera HueEclipse IDE主题三：Hive的表Hive表hive的表逻辑上由存储的数据和描述表格中的数据形式的相关元数据组成。Hive里的表有两种类型一种叫普通表，一种叫外部表。普通表与外部表的区别：（1）创建外部表的时候table之前要加关键字external（2）在做drop操作时（drop是hive删除表的命令），普通表执行drop命令的时候，会删除元数据和存储的数据，而外部表执行drop命令时候只删除元数据库里的数据，而不会删除存储的数据。主题三：Hive的表创建Hive表实例创建普通表实例create table normal_table (col1 string,col2 stringcol3 string);创建外部表实例create external table external_table (col1 string,col2 stringcol3 string);主题三：Hive的表Hive中创建HBase外部表Hive与HBase利用两者本身对外的API来实现整合。Hive访问HBase中表数据，实质上是通过MapReduce读取HBase表数据。主题四：Hive的元数据Hive元数据Hive的数据分