毕玄HBase简介与实践分享.pptxVIP

HBase简介与实践分享 毕玄 About me 毕玄（bluedavy） 目前就职于淘宝网 07—10年负责淘宝服务框架 今年开始负责HBase 关键词 JVM、SOA、网络通信、高并发、高可用、海量数据存储与分析 Simple Introduce Yet Another NoSQL Bigtable implementation Primary Contributors: Yahoo!,Facebook,Cloudera Basic Concepts Table in HBase Schema: TableName Column Family Name ; value is stored in column with version as byte[]; Example Column Family Column Family Column Label Column Qualifier CL CL CL // Schema name contact // CL firstname lastname nickname email phone bixuan hao lin bluedavy **@gmail 186****** bluedavy hao lin 158****** Basic Concepts Table in HBase 以Region为单位管理region(startKey,endKey)； 每个Column Family单独存储：storeFile； 当某个Column Family累积的大小 某阈值时，自动分裂成两个Region； 如何找到某行属于哪个region呢？ -ROOT- .META. Basic Concepts RegionServer Region读写操作的场所； Master 管理Region的分配； 基于zookeeper来保证HA； HBase Architecture 图来源于： http://goo.gl/d1T3Q HBase Features 强一致性 同一行数据的读写只在同一台regionserver上进行； 水平伸缩 region的自动分裂以及master的balance； 只用增加datanode机器即可增加容量； 只用增加regionserver机器即可增加读写吞吐量； HBase Features(Cont.) 行事务 同一行的列的写入是原子的； Column Oriented + 三维有序 SortedMap(RowKey, List(SortedMap(Column, List(Value,Timestamp)) ) ) rowKey (ASC) + columnLabel(ASC) + Version (DESC) -- value HBase Features(Cont.) 支持范围查询 Scan scan=new Scan(Bytes.toBytes(0), Bytes.toBytes(20)); 高性能随机写 WAL (Write Ahead Log) HBase Features(Cont.) 和Hadoop无缝集成 Hadoop分析后的结果可直接写入HBase； 存放在HBase的数据可直接通过Hadoop来进行分析。 HBase能用于Online场景吗？ Why not? just see users and performance HBase Users Facebook Messages Realtime analytics for Big Data Trend Micro Adobe Twitter Yahoo! HBase性能 随机写（K: 200 byte V: 1024 byte） region server机器：12块1T的SATA盘7200rpm，No Raid，24G，Xeon5620 2.4GHz，千兆网卡； Java Heap: 12G HBase性能(Cont.) 随机写（K: 200 byte V: 1024 byte） avg: 3ms，吞吐量：1w tps/rs HBase性能(Cont.) 10亿key（1T数据量）随机读，12台rs，cache: 4g/台； HBase性能(Cont.) 之前的场景，cache全命中的状况： avg: 1ms HBase不支持的 二级索引； sql/join/跨行跨表等RDBMS特性； HBase适用场景 摘自：HBase @ Facebook The Technology Behind Messages (and more...) HBas