HBase入门与使用.pptx

HBase入门与使用 毕玄 Agenda HBase基本介绍 HBase性能 HBase使用 Hbase@Taobao HBase简介 Yet Another NoSQL Bigtable implementation Primary Contributors: Yahoo!,Facebook,Cloudera HBase简介 Table in HBase Schema: TableName Column Family Name ; value is stored in column with version as byte[]; Example Column Family Column Family Column Label Column Qualifier CL CL CL // Schema name contact // CL firstname lastname nickname email phone bixuan hao lin bluedavy **@gmail 186****** bluedavy hao lin 158****** HBase简介 Table in HBase 以Region为单位管理：region(startKey,endKey)； 每个Column Family单独存储：storeFile； 当某个Column Family累积的大小 某阈值时，自动分裂成两个Region； HBase简介 HBase简介 RegionServer Region读写操作的场所； Master 管理Region的分配； 基于zookeeper感应rs的上下线； Region的balance； 基于zookeeper来保证HA； HDFS HBase数据、日志的存储场所； HBase简介 强一致性 同一行数据的读写只在同一台regionserver上进行； 水平伸缩 region的自动分裂以及master的balance； 只用增加datanode机器即可增加容量； 只用增加regionserver机器即可增加读写吞吐量； HBase简介 行事务 同一行的列的写入是原子的； Column Oriented + 三维有序 SortedMap(RowKey, List(SortedMap(Column, List(Value,Timestamp)) ) ) rowKey (ASC) + columnLabel(ASC) + Version (DESC) -- value HBase简介 支持范围查询 Scan scan=new Scan(Bytes.toBytes(0), Bytes.toBytes(20)); 高性能随机写 WAL (Write Ahead Log) HBase简介 和Hadoop无缝集成 Hadoop分析后的结果可直接写入HBase； 存放在HBase的数据可直接通过Hadoop来进行分析。 HBase简介 目前一些不太好用的地方 木有二级索引，需要自己写索引表； 运维上没有数据库那么成熟。 HBase简介 需要知道的一些风险 NameNode单点，一旦挂掉，整个hbase集群将挂掉； Region Server挂掉后需要一定的时间才能切换好； Region由于split会造成短暂的不可用。 HBase Users Facebook Messages Realtime analytics for Big Data Trend Micro Adobe Twitter Yahoo! 世界最大的HBase集群，960个node； HBase简介 适用场景 简单来说，就是数据库支撑有困难或收益比太低的场景； 数据量增长快且要存储较长时间，累积的数据量比较大的场景（3T以上，如单条数据为1k，就是30亿条）； 海量数据要做group by、sum、avg的场景； Hadoop分析完毕后的结果要在线二次分析的场景，数据量也要比较大。 HBase性能 测试机器 5台Region Server，35台DataNode； 12块1T SATA盘(7200 RPM)，No Raid； 物理内存24G； CPU: E5620（8 core HT 16） -Xms16g -Xmx16g -Xmn2g -XX:SurvivorRatio=2 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=85 HBase性能 服务端参数 hbase.replication falsehbase.balance