01尚硅谷大数据之Hive基本概念.pdfVIP

尚硅谷大数据技术之Hive 尚硅谷大数据技术之Hive ————————————————————————————— ————————————————————————————— 第 章 基本概念 第 章 基本概念 1 Hive 1 Hive 什么是 1.1 什么是Hive 1.1 Hive Hive Facebook Hive：由Facebook 开源用于解决海量结构化日志的数据统计。 ：由 开源用于解决海量结构化日志的数据统计。 Hive Hadoop Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 是基于 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 SQL 提供类SQL 查询功能。 提供类 查询功能。 HQL MapReduce 本质是：将HQL转化成MapReduce程序 本质是：将 转化成 程序 1 Hive HDFS  1 Hive HDFS  ） 处理的数据存储在 ） 处理的数据存储在 2 Hive MapReduce  2 Hive MapReduce  ） 分析数据底层的实现是 ） 分析数据底层的实现是 3 Yarn 3）执行程序运行在Yarn 上 ）执行程序运行在 上 的优缺点 1.2 Hive 的优缺点 1.2 Hive 优点 1.2.1 优点 1.2.1 1 SQL 1）操作接口采用类SQL语法，提供快速开发的能力 （简单、容易上手） ）操作接口采用类 语法，提供快速开发的能力 （简单、容易上手） 2 MapReduce 2）避免了去写MapReduce，减少开发人员的学习成本。 ）避免了去写 ，减少开发人员的学习成本。 3 Hive Hive 3 Hive Hive ） 的执行延迟比较高，因此 常用于数据分析，对实时性要求不高的场合； ） 的执行延迟比较高，因此 常用于数据分析，对实时性要求不高的场合； 4 Hive Hive 4 Hive Hive ） 优势在于处理大数据，对于处理小数据没有优势，因为 的执行延迟比较高。 ） 优势在于处理大数据，对于处理小数据没有优势，因为 的执行延迟比较高。 5 Hive 5 Hive ） 支持用户自定义 数，用户可以根据自己的需求来实现自己的 数。 ） 支持用户自定义 数，用户可以根据自己的需求来实现自己的 数。 缺点 1.2.2 缺点 1.2.2 1 Hive HQL 1 Hive HQL ） 的 表达能力有限 ） 的 表达能力有限 1 1 （）迭代式算法无法表达 （）迭代式算法无法表达 2 2