海量数据分布式数据库的探索.pdf

分布式海量数据库的探索:Wasp 代志远 提纲  HBase在阿里的现状  客户的需求  Wasp的前世今生  Wasp的架构  RoadMap  QA HBase在阿里的现状  概要： – HBase的优缺点。 – 我们的规模、发展以及未来。 HBase在阿里的现状  HBase的优缺点 – 优点：强一致性，高拓展性，写入速度快（ L SM-Tree ），混合行列存储，表结构变更容 易，稀松矩阵利亍节省存储空间。 – 缺点：没有跨行事务，没有索引丌利亍简单的 多维分析，API比较复杂学习成本高并且线上 关系型数据向HBase迁移工作量比较大。 HBase在阿里的现状  我们的规模、发展以及未来 – 700-800台的集群规模，离线集群如果上线H Base总规模将会更大。 – HBase社区活跃，结构完善，前景良好，影响 力越来越大，在集团内大有跟现有关系型数据 库一较高下的趋势。 – 大数据时代来临，常年运营积累的数据越来越 多，HBase良好的拓展性成为了解决此类问题 的利器，并且越来越多的应用会迁移到HBase。 – 但是我们有如下的客户需求 客户的需求  概要 – 多维查询（二级索引） – 索引不实体的一致性 – 简单的用户入口 – 较强的线性拓展能力 客户的需求  多维查询 （二级索引） – 用户需要根据根据条件迕行筛选和过滤。 暴力Scan ？Filter ？协处理器？ – 需要根据需求建立索引表 客户的需求  索引与实体的一致性 – 实体不索引分别是丌同的物理行 – 需要同时更新索引不实体（增加、初除、修订） – 两者之间如何保证一致性？ – 是否每个业务都需要保证强一致性？ – 是否每次都要读到最新的一次更新？ – 针对以上问题我们如何取舍和保证？ 客户的需求  简单的用户入口 – 由亍：繁琐的HBase API ，由亍对HBase API 丌熟悉，经常因为使用丌当导致线上故障。比 如：为何我插入的返一行出现了十几万列？ – 导致：用户学习成本较高，很多用户就喜欢原 来的SQL ，甚至使用SQL若干年了。 客户的需求  较强的线性拓展能力 – 业务方：给传统单机数据库做分库分表太繁琐、 代价太高了，迓需要业务应用人员自己维护分 库信息。 – DBA ：线上数据最近几年增加太快，每隔段时 间就要重新拆库分库一次，每次都迓有丌同程 度的故障。