hadoop集群.pdfVIP

云帆大数据学院 细细品味Hadoop ——Hadoop 集群（第 15 期） 精 华 集 锦 云帆大数据学院 企业真实项目 实时在线授课 云帆大数据学院 Hadoop集群（第15期） ——HBase、Hive 与 RDBMS 1、Hive与HBase 1.1Hive与HBase区别 Hive是基于Hadoop 的一个数据仓库工具，是为简化编写MapReduce程序而生的， 使用 MapReduce 做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程 基本 一样。在这种情况下就需要 Hive 这样的用户编程接口。Hive 本身不存储和计算数 据，它完 全依赖 HDFS 和 MapReduce，Hive 中的表是纯逻辑表，就是些表的定义等， 也就是表的元 数据，这样就可以将结构化的数据文件映射为为一张数据库表，并提供完整 的 SQL 查询功 能，并将 SQL 语句最终转换为 MapReduce 任务进行运行。之所以使用 SQL 实现 Hive，是 因为 SQL 大家都熟悉，转换成本低，不必开发专门的 MapReduce 应用，类似作用的 Pig 就 不是 SQL。Hive 十分适合数据仓库的统计分析。 HBase是一个分布式的、面向列的开源数据 ，该技术来源于Google 的论文 “Bigtable：一个结构化数据的分布式存储系统”。就像 Bigtable 利用了 Google 文件系统 所提供的分布式 数据存储一样，HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力， HBase 不同于一般的 关系数据库，它是一个适合于非结构化数据存储的数据 。另一个不 同的是 HBase 基于列 的而不是基于行的模式。HBase 使用和 Bigtable 非常相同的数据模 型，用户存储数据行在一 个表里，一个数据行拥有一个可选择的键和任意数量的列。表是 疏松的存储的，因此用户可 以给行定义各种不同的列。 HBase 为查询而生的，它通过组织起节点内所有机器的内存，提供一个超大的内存 Hash表，它需要组织自己的数据结构，包括磁盘和内存中的，而 Hive 是不做这些的，表 在 HBase 中是物理表，而不是逻辑表，搜索引擎使用它来存储索引，以满足查询的实时 性需求。HBase 主要用于需要随机访问，实时读写你的大数据 （BigData）。 1.2Hive与HBase整合 1）集群环境 Java版本：jdk-6u31-windows-i586.exe Win系统：Windows7旗舰版 Eclipse软件：eclipse-jee-indigo-SR1-win32.zip|eclipse-jee-helios-SR2- win32.zipHadoop软件：hadoop-1.0.0.tar.gz HBase软件：hbase-0.92.0.tar.gz Hive软件：hive-0.8.1.tar.gz 2）开场简介 企业真实项目 实时在线授课 云帆大数据学院 Hive与HBase 的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互 通信主要是依靠 hive_hbase-handler.jar 工具类， 大致意思如图所示：