宗岱 Tair 分布式KV系统.pptxVIP

Tair—分布式KV系统;Tair简介 现状与应用案例 Tair特性 内部架构 Tair未来 ;分布式Key/Value存储 非持久化 持久化 ;支持 Java、C/C++的客户端 支撑着淘宝绝大部分系统 300+ 台服务器，每台能提供22GB（内存） 的空间 70亿+的记录 每秒百万级别的请求数 1GB/s的数据流 ;应用案例;Namespace 支持不同的数据使用相同的key而内容不冲突 Version 有效的保护并发更新 Expire key的失效时间控制 Counter 服务器端的原子计数器 集合数据格式支持 将value视为一个集合，提供对集合中部分数据的读写接口 ;get/put/delete incr/decr mget/mdelete get_items/add_items/remove_items ;;HA 数据分布 按负载分布 按机架分布 轻量级 非传统的中心节点 configserver不可用，不会影响集群的服务 便于用户使用 ;传统的数据分布方法：将 key 的hash 值对机器数取模 实现简单 在服务器数量发生变化时对原有分布冲击很大 对照表：将 key 的hash 值对一个固定数取模 固定数范围内的每个值都与一个节点相对应 一台物理机器可以和多个值对应 consistent hash的一种变型 ;两个节点;客户端在启动的时候从configserver获取对照表，并缓存在本地 客户端根据对照表完成路由请求 对照表变化后？ ;Request Plug-ins;mdb rdb fdb kdb Kyoto cabinet bdb Berkeley DB ;支持使用share memory Namespace级别的容量配额 Slab的动态平衡 数据过期清理 LRU的淘汰机制 ;;ConfigServer HA 宕机对服务基本无影响 可以配置的备份数 数据在写入主节点后，会异步同步到辅节点 如果主节点不可用，则辅节点自动接管成为主节点 安全的数据分布方式 不同机架/机房 自动复制 当有节点不可用时，能自动复制数据，保证数据的备份数 ;商品中心 Cache 单备份双机房 登录session 全内存 双备份双机房 交易快照 持久化 双备份双机房 ;mdb 22G内存 单台QPS 25W kdb 6 * 300G SAS 单台QPS 800 ;服务器端统计与监控 负载/容量/总条目数/访问次数/命中率/驱逐次数 客户端统计与监控 访问延时 ;Tair??经在code.taobao.org上开源 优化现有存储引擎 适应不同场景的存储引擎 分级存储 内存-SSD-SAS/SATA ;