HBase简介与实践分享剑英.pptVIP

* * * * * 容量影响因素 开启压缩 lzo create table ‘t1’,{NAME = ‘cf1’, COMPRESSION = ‘lzo’} HBase实践经验(Cont.) 写速度关键因素 Table region分布均衡； 单台region server的region数； hbase.regionserver.handler.count hbase.regionserver.global.memstore.upperLimit hbase.hregion.memstore.block.multiplier hbase.hstore.blockingStoreFiles hbase.hregion.max.filesize HBase实践经验(Cont.) 读速度关键因素 单台Region Server上的Region数； StoreFile数； bloomfilter； in-memory flag; blockcache设置； hfile.block.cache.size； HBase实践经验(Cont.) 二级索引 合理使用三维有序 More details pls attend 技术沙龙 冗余 离线 HBase实践经验(Cont.) Any Questions * * * * * * * * * * * * * * * * * * * * * * * * * * HBase简介与实践分享 剑英 剑英（谭颖亮） 就职于淘宝网 目前负责淘宝数据平台与产品部--基础研发，专注于分布式数据存储计算同步平台的建设 About me Yet Another NoSQL Bigtable implementation Primary Contributors: Yahoo!,Facebook,Cloudera Simple Introduce Table in HBase Schema: TableName Column Family Name ; value is stored in column with version as byte[]; Example Basic Concepts Column Family Column Family Column Label Column Qualifier CL CL CL // Schema name contact // CL firstname lastname nickname email phone bixuan hao lin bluedavy **@gmail 186****** bluedavy hao lin 158****** Table in HBase 以Region为单位管理region(startKey,endKey)； 每个Column Family单独存储：storeFile； 当某个Column Family累积的大小 某阈值时，自动分裂成两个Region； 如何找到某行属于哪个region呢？ -ROOT- .META. Basic Concepts RegionServer Region读写操作的场所； Master 管理Region的分配； 基于zookeeper来保证HA； Basic Concepts HBase Architecture 图来源于： http://goo.gl/d1T3Q 强一致性 同一行数据的读写只在同一台regionserver上进行； 水平伸缩 region的自动分裂以及master的balance； 只用增加datanode机器即可增加容量； 只用增加regionserver机器即可增加读写吞吐量； HBase Features 行事务 同一行的列的写入是原子的； Column Oriented + 三维有序 SortedMap(RowKey, List(SortedMap(Column, List(Value,Timestamp)) ) ) rowKey (ASC) + columnLabel(ASC) + Version (DESC) -- value HBase Features(Cont.) HBase Features(Cont.) 和Hadoop无缝集成 Hadoop分析后的结果可直接写入HBase； 存放在HBase的数据可直接通过Hadoop来进行分析。 HBase Features(Cont.) HBase能用于Online场景吗？ Why not? just see users and performance