【小牛学堂】之HBASE快速上手.docxVIP

HBASE 快速上手HBASE简介1.1 HBASE是什么HBASE是一个数据库HBASE是一个分布式的数据库（MASTER, REGION SERVER）HBASE的数据存放在HDFS中（ hdfs://hdp01:9000/hbase/）1.2 HBASE的特点HBASE是一个nosql数据库（表结构跟关系型数据库不一样/查询语法不支持SQL）HBASE可以在线扩容（增加REGION SERVER即可）HBASE 存储容量巨大无比4、HBASE不支持事务（除了行级事务），只支持单表查询1.3 HBASE应用场景需要存储的数据量很大，而且往往是与日俱增的对数据的查询需求往往比较简单比如： 移动运营商的详单查询系统/淘宝的历史交易记录查询HBASE的表结构2.1 回顾mysql的表结构Id (int)Name (varchar) Age (int) Gender (varchar)01angelababy18female02liyuchun20unknown特点： 1、建表时需要指定表中字段定义（字段个数，字段名称，字段数据类型）插入数据时，就可以不需要指定字段信息Insert into table t_user values(03,”fengjie”,30,”female”)在使用过程中，如果某一行想插入更多字段，需要将整个表结构进行修改，增加一个字段（其他历史数据就会产生的空间浪费）2.2 HBASE的表结构HBASE在建表时只需要指定表名和列簇名即可(系统会内置一个行键字段，名为ROWKEY，但是值由用户插入数据时自己指定，并且必须表内全局唯一)2、插入数据时，每一行的字段定义都可以不一样，只是插入的数据都要指定字段名称t_user行键Base_info ：列簇名Extra_info：列簇名Rk01Id:01,Name:angelababy,age:18,gender:femaleHobbies:paonan,boyfriend:laoduanRk02Id:02,nickname:chunge,size:36A/2Zuopin:xxx,girlfriend:zengye从上表可以看出，其实HBASE中存放的数据就是KV对，每一行存的kv对数量和字段名都可以不同Hbase中存放的每一个kv对，叫做一个cell，每一个cell中的v可以被hbase存储多个历史版本 （更正上图）注：默认保存的版本为1个由于HBASE中的一个表中的数据量可能很大很大（几百亿行*几十亿列），所以，这个表的查询/更新等操作会分给多台REGION SERVER来负责，此时，一个表就被逻辑上被按范围切分成了N多个REGIONHBASE中所存放的数据没有类型可言，全部都是byte[] ，数据的类型完全由用户自己来管理。这样也有一个好处：任何东西都可以往HBASE中存/取HABSE的安装 3.1 先安装zookeeper先安装jdk/配网络等系统环境上传zookeeper的安装包修改zk的配置文件 conf/zoo.cfg# The number of milliseconds of each ticktickTime=2000initLimit=10syncLimit=5dataDir=/root/zkdataclientPort=2181server.1=hdp01:2888:3888server.2=hdp02:2888:3888server.3=hdp03:2888:3888创建数据目录及建立myid文件在hdp01的/root/zkdata下创建一个文件myid，内容是：1echo 1 /root/zkdata/myid在hdp02的/root/zkdata下创建一个文件myid，内容是：2echo 2 /root/zkdata/myid在hdp01的/root/zkdata下创建一个文件myid，内容是：3echo 3 /root/zkdata/myid将hdp01上配好的zookeeper安装包复制给其他两台机器scp -r zookeeper/ hdp02:$PWDscp -r zookeeper/ hdp03:$PWD对每一个节点检查防火墙状态，关闭防火墙service iptables statusservice iptables stopchkconfig iptables off启动zookeepera、可以一台一台地去起启动命令： /root/apps/zookeeper/bin/zkServer.sh start检查状态：/root/apps/zookeeper/bin/zkServer.sh statusb、也可以自己写一个批量启动脚本，进行自动化地起：vi startzk.sh#!/bin/bashfor host