分布式NoSQL数据库Fusion的技术演进.pptx

滴滴分布式NoSQL数据库Fusion的技术演进诞生背景：滴滴业务发展简介演进过程：如何满足业务需求总结 & 展望第一章诞生背景：滴滴业务发展简介业务&架构之演进Fusion是什么定义：兼容Redis协议的分布式NoSQL数据库。 定位：介于Redis与MySQL之间的主存储数据库。String ü Hash ü Bitmap ü SetSorted SetListRedis clientRedis clientProxyMEMSSD第二章演进过程：如何满足业务需求演进过程：如何满足业务需求1海量存储2FastLoad3NewSQL4跨机房多活演进过程：如何满足业务需求1海量存储：解决Redis容量太小、扩容阻塞、宕机恢复慢等问题FastLoadFusionNewSQL4跨机房多活存储需求1. 海量 数据需求1：百亿级订单如何存 储？需求2：数百TB司机行程轨 迹如何落地？6. 存储 生态2. 故障 处理Why Fusion5. 接入 简单3. 稳定 性4个94. 性能 要好Fusion软件架构Fusion接入层（负载均衡）控制台用户系统运维系统集群路由Redis RPCCache计费系统监控系统RocksDBSSDFastLoad平台一键切流平台SaltStack管理平台Fusion集群架构jedishiredisredigoVIPHadoopProxyProxyProxyhash(key) % slots集群管控MySQLFastLoad导入binlog导出MQmasterDataNodeDataNodeDataNodeRedisslaveDataNodeDataNodeDataNodeslot0-slotnFusion VS Redis协议性能容量数据安全线程模 型数据导入数据导 出事务RedisRedis 协议极高受限于 内存存内存单线程SDK不支持不支持 快照、 回滚FusionRedis 协议高， 热点 数据 访问 效率 极高受限于 磁盘存磁盘多线程FastLoad提供 binlogACID演进过程：如何满足业务需求海量存储12FastLoad：解决离线系统到在线系统数据打通Fusion3NewSQL4跨机房多活存储需求业务需求：标签平台 & 特征平台。1. 高性能痛点：1. 如何支撑每日百亿级高速查询。如何定时的快速的更新TB级别数据。如何支持几千个特征库数据个性化更新。2. 定时更 新5. 多表隔 离Why FastLoad4. 99.99%稳定3. 快速更 新FastLoad一站式DTS平台——架构hadoop配置中心计算Fusion路 由及构造SST启动调 度任务有序SST集合数据分片FastLoad控制台FastLoad服 务器数据分片用户hive表Map/Reduce有序SST集合OpenAPI数据分片有序SST集合ProxyRedis client路由表DataNodeDataNodeDataNode下载SSTt0t0t0切换用户访问逻辑表t1t1t1FastLoad一站式DTS平台——优势01减少N次网络交互。绕过LSM的compact过程，对 用户请求0影响。0203接入简单，用户0感知底层细节。04提供OpenAPI，方便用户自动接入。05提供2种方式：全量滚动和增量 插入。演进过程：如何满足业务需求1 海量存储2FastLoadFusion3NewSQL：解决MySQL单库容量小、扩展不灵活等问题4跨机房多活NewSQL——需求是什么轻松改字段存储不限量尽量省成本单机事务稳定性灵活扩展高性能二级索引NewSQL——schema转换Redis协议：hset key field valuekeyfieldvaluestudent_1nameLiage20sexmaleTable: studentIDnameagesex1Li20male2Wang22female3Zhang19malekeyfieldvaluestudent_2nameWangage22sexfemaleNewSQL——主键索引如何主键查询？hgetall/hgethgetall student_1 “name” “Li”“age” “20”“sex” “male”hget student_1 age “20”select * from student where id = 1select age from student where id = 1NewSQL——二级索引index_agevaluestudent_age_20_1nullstudent_age_22_2nullstudent_age_19_3nullTable: studentIDnameagesex1Li20male2Wang22femal