阿里hbase业务设计实践.pptVIP

阿里HBase业务设计实践 穆公(朱金清 suinking@) 微博：淘穆公 2013.4.21 大纲 简介 数据模型 业务设计 产品线使用建议 监控 总结 简介 Nosql: column-based storage system Large volume of data High write (esp. random ) through-put / Good ramdon read performance Range query Row-base transaction Auto-sharding Compare to Bigtable Hbase Based on Hadoop HDFS or other HDFS Bigtable based on GFS Large volume 三层索引结构 Region的大小默认最大是256M 按照平均128M算； 假设：一个rowkey 1KB Root table： 128M=128*1024KB 即2^7 * 2^10 = 2^17 bucket Meta table： (2^17)^2 = 2 ^34 bucket 记录数：2^51 条记录 其它特征 三层B+树的扩展LSMTree[1] 适合于范围查询 Rowkey的字母顺序来排序(byte数组存储) Row-base 事务级别仅限于rowkey级别 Auto-sharding Region的自动split/move 问题：牺牲了CAP中的？ [1] Jim Gray and Franco Putzolu, The Five Minute Rule for Trading Memory for Disk Accesses and The 10 Byte Rule for Trading Memory for CPU Time, Proceedings of the 1987 ACM SIGMOD Conference, pp 395-398. 已有适合的使用场景 海量数据写入 历史数据 批量写入 消息类（类似Facebook的message） 消息类 Schema-free 业务监控 LOG-Append类的业务 全网HSF日志 全网每天上百亿 大表的复杂/多维度索引 检索索引，主数据在mysql 分析类 大批量读取 HBase+缓存TAIR 现有集群状况 集群名称 TPS(avg) 11.11最高 QPS(avg) 11.11最高 版本 业务 7k 1.8w 1.6w 3.4w 0.90.2 业务 1.8w 2w 1.2w 1.4w 业务 7k 3w 2w 5w 业务 1k 2k 2k 6k 业务 2.5w 5w 2w 6w 业务 10w 25w(最高50w) 1w 2w 0.94 业务 4w 20w (压测) 2k 3w(压测) 0.94 业务 每天2-3kw - RT在ms级别 - 0.90.2-定制版 业务 10w 25w 15w 100w 0.94 业务 3k 1.4w 3k 6k 0.94 业务 1.5w 2w 6k 8k 0.94 与MYSQL的对比 场景 HBase优点 HBase缺点 MySQL优点 MySQL缺点 业务表使用 使用简单，一张表即可 不过没有SQL 有SQL；分库分表，灵活 分库后 更新模式 插入多的适合 RKupdate差 DML 二级索引策略 需借助索引表 强 DDL问题 客户端接口 灵活自己掌握 无标准SQL SQL 写性能 非常强 顺序写入时瓶颈在一台rs 较强 几千tps/单套库 读性能 较强；支持scan 依赖内存 很强；支持scan 依赖索引 可扩展性 强 借助愚公/datax工具可动态扩展 弱 运维方便 自己定制 不够成熟 成熟 DDL 时间短；92版本可以在线 若有索引表，需要自己填充 Create index即可 时间长；block 读写 稳定性CAP CP A AP C NoSQL使用情况 TAOBAO OTS/HBase BAIDU BAILING/ARMOR/HYPERTABLE(HCE) TENCENT TDB/TSSD FACEBOOK HBASE 大纲 简介 数据模型 业务设计 产品线使用建议 监控 总结 Region Server Region Store … Region … HDFS Zookeeper cluster Master Region Server … Back up Master Back up Master … Hbase Client Hbase Client … NameNode DataNode DataNode … HDFS client 架构图 客户端 LSM C0树 同一机器，目的？