阿里分布式结构化存储发展之路.pptx

阿里分布式结构化存储发展之路 Topic    List 1、使用背景和场景 2、现有规模和容量 3、基于业务的优化 4、面向服务的OTS 5、典型应用场景 6、面临的挑战 引入Hbase背景 数据爆发式增长 •  •  •  •  •  •  Hbase适配场景 数据爆发式增长   ms级别响应   KV      简单索引   数据生命周期   版本管理   Schema  Free   我们的规模 单集群 800+ 10+多 个IDC 部署 350+业 务 超 11000 台规模 4个商 业化集 群 基于业务的改进与优化 •  资源组隔离   –  业务隔离   –  集群规模化   –  易维护         基于业务的改进与优化 •  二级缓存：分布式Cache服务   –  作为主cache与LruBlockCache混合使用     –  作为介质缓存(SSD/FIO)，增大缓存空间   hbase.bucketcache.ioengine  =  heap     hbase.bucketcache.size  =  0.4 hbase.bucketcache.ioengine  =  file:/ssd0/   hbase/cache0.data,/ssd1/hbase/ cache0.data,/ssd2/hbase/cache2.data   binedcache  =  false 基于业务的改进与优化 •  混合存储   –  SATA与SSD折衷，IOPS与成本之间的平衡   –  无命中率可言   –  定制化机型(3  SSD  +  9  Sata)   FAMILIES  =  [{NAME  =  c1,  STORAGETYPE  =SSD}   其中STORAGETYPE  可选为： 1、DEFAULT  (由RegionServer/hdfs的配置决定存储介质） 2、SSD（所有备份都存在SSD） 3、HDD（所有备份都存在HDD） 4、HYBRID（一个备份SSD，两个备份HDD） 基于业务的改进与优化 •  高可用   –  ZK高可用问题   –  如何切换？   –  独立于ZK切换   基于业务的改进与优化 •  单元化支持   –  why单元化?   –  Do  what  ?   –  引流怎么解？ 基于业务的改进与优化 •  Local  Index：冗余cf方式实现局部排序   –  简单索引器         ASSISTANT  =  SIMPLE_INDEX|INDEXED=f1:q1 –  无更新索引器     ASSISTANT  =  NU_SIMPLE_INDEX|INDEXED=f1:q1 –  列冗余索引器 ASSISTANT=COLUMN_REDUNDANCY|INDEXED=f1:q1,REDUNDANT=f1:q2 基于业务的改进与优化 •  其他改进   –  配置细粒度化:  Table-­‐Group-­‐Rs   –  MTTR改进   –  Request  Trace   –  读写Handle分离   –  Compacion控制 •  •  •  •  •  解决规模化问题 单元化扩展   配置标准化   自动化   成本管控   问题排查   面向服务的OTS •  为何要new一款结构化存储   –  资源流控 –  按量付费预留 –  权限管理 –  计量计费 –  储备核心技术 –  兼容生态   开放结构化数据服务(Open  Table   面向服务的OTS OTS是构建在阿里云飞天分布 式系统之上的 NoSQL数据库服 务，提供海量结构化数据的存 储和实时访问。OTS 以实例和 表的形式组织数据，通过数据 分片和负载均衡技术，实现规 模上的无缝扩展。应用通过调 用 OTS API / SDK 或者操作 管理控制台来使用 OTS 服务。 •  •  •  •  面向服务的OTS 资源预留:  CU模型   权限隔离:  AK+实例   数据模型   兼容Hbase   •  •  •  •  •  •  典型的应用场景 药品监管码