大数据技术与应用基础第6、7章分布式数据库HBase、数据仓库工具Hive.pptxVIP

能力要求CAPACITY了解HBase包含3个重要组件。熟悉HBase的基本应用。掌握HBase的特点。HBase简介HBase接口安装HBase集群HBase ShellHBase APIHBase综合实例一、HBase简介HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。HBase包含3个重要组件：ZooKeeper、HMaster和HRegionServer。ZooKeeper为整个HBase集群提供协助的服务(信息传输)，HMaster主要用于监控和操作集群中的所有RegionServer，HRegionServer主要用于服务和管理分区(regions)。Hbase简介Hbase接口安装HBase集群HBase ShellHBase APIHBase综合实例二、Hbase接口HBase集群访问可以有多种方式，不同方式的使用场景不同，HBase的访问接口如下：1. Native Java API2. HBase Shell HBase Shell是HBase的命令行工具，是最简单的接口，适合HBase管理使用。3. Thrift Gateway4. REST Gateway5. PIG 可以使用Pig Latin流式编程语言来操作HBase中的数据，其本质是编译成MapReduce Job来处理HBase表数据，适合做数据统计。6. HiveHive 0.7版本中添加了HBase的支持，可以使用类似SQL的语言HQL来访问HBase，其本质类似Pig，把脚本编译成MapReduce Job来处理HBase表数据。HBase简介HBase接口安装HBase集群HBase ShellHBase APIHBase综合实例三、安装Hbase集群系统环境：? Hadoop 2.6.0 分布式系统基础架构? Java jdk 1.7 一种面向对象的编程语言 ? ZooKeeper 3.4.6 分布式应用程序协调服务? Hbase 0.98.21 分布式、面向列的开源数据库? Ubuntu 14.04 一种Linux操作系统安装ZooKeeper：在主节点上下载安装ZooKeeper。hadoop@master:~$wget /apache/hbase/hbase-1.0.3/hbase-1.0.3-bin.tar.gz将conf目录下面的zoo_sample.cfg修改为zoo.cfg。修改zoo.cfg，添加一条参数dataDir=/hadoop/zookeeper/data在dataDir指定的数据目录(/hadoop/zookeeper/data)下，创建文件myid，文件内容为一个正整数值，用来唯一表示当前机器，因此不同机器的数值不能相同，可以选择0、1、2。三、安装Hbase集群在zoo.cfg中加入如下参数，如图6-3所示。-server.0=master:2888:3888 注释：0为master节点的myid-server.1=slave1:2888:3888 注释：1为slave1节点的myid-server.2=slave2:2888:3888 注释：2为slave2节点的myid将主节点的ZooKeeper安装目录分发到两个从节点slave1，slave2上。将$ZOOKEEPER_HOME/bin添加到Linux用户的环境变量文件.bashrc中。在各个节点上通过zkServer.sh start命令启动ZooKeeper服务，命令如下zkServer.sh start //启动ZooKeeper服务zkServer.sh status //查看节点ZooKeeper服务状态，服务状态分为leader,follower三、安装Hbase集群安装Hbase：在主节点上通过下面命令下载Hbase到Linux用户的家目录中。wget /apache/hbase/0.98.21/hbase-0.98.21-hadoop2-bin.tar.gz修改HBase根目录下conf文件夹中hbase-site.xml文件如下：configurationproperty namehbase.rootdir/name valuehdfs://master:9000/hbase/value/propertyproperty namehbase.zookeeper.quorum/name valuemaster,slave1,slave2/value/propertyproperty namehbase.cluster.distributed/name value