轻量级分布式keyvalue存储系统在360的应用_杨康_奇虎360.pptxVIP

轻量级分布式key/value存储系统在360的应用杨康yangkang@360.cn2012/07/06议程 Page 背景介绍发展历程单机方案分布式方案多集群方案经验心得背景介绍 – 应用场合 Page 主要应用场合数据离线流式生产（写）、海量在线检索（读）木马/恶意网址云查杀推荐系统背景介绍 – 系统需求 Page 系统需求key/value的数据存储，平均value长度小于1K低延迟7*24小时在线性能要求高一致性要求无节点失效时：强一致性节点失效后：可以暂时停止写操作发展历程 – KVDB 0. 1 Page 09年初 – 10年底10亿数量item发展历程 – KVDB 0. 1 Page 单机内存哈希表存储引擎在Memcached基础上做二次开发内存利用率（将LRU特性做成可选：item结构中的time、exptime等成员）比较多个关联容器实现：std::map、ext/hash_map、stlport::hash_map、google sparse_hashhash_map的rehash问题协议扩展：dump、load支持大量只存储有无标识item：使用布隆过滤器支持，写时拷贝发展历程 – KVDB 1. 0 Page 10年12月 – 11年9月超过30亿数量item分布式内存哈希表存储引擎考虑Membase发展历程 – KVDB 1. 0 Page 分布式内存哈希表存储引擎考虑Membase问题：存储引擎满足不了要求（SQLite）改进：存储引擎可定制化Memcached Proxy（Moxi）问题1：对下游存储节点的超时处理过于暴力问题2：没有短暂屏蔽失效节点的功能，下游存储节点故障会阻塞client分布式Key/Value存储 – 性能 Page 5台机器key长度32bytes，value长度为32bytes。随机选取key，测试单机的情况：单次读：get 45000批量读（每笔100个key）：gets 400000写：set 42000访问延迟：1万次查询（每笔100个key），平均延迟0.5ms分布式Key/Value存储 – 单集群架构 Page 单集群架构分布式Key/Value存储 – 多IDC部署 Page 多IDC部署分布式机制 Page 全局维护一个路由表，中心化管理支持数据的多份冗余路由策略存储扩容和缩减 Page 增加存储节点新增部分vbucket的备份到新节点上等待同步结束，将新节点相关vbucket状态设置为active或者replica修改全局路由表这部分vbucket和server的对应关系释放旧节点上的相关vbucket占用的空间备份和恢复 Page 冗余热备在线的故障转移全局Heartbeat程序监控集群内的节点是否存活，在某个节点失效后修改全局路由表，将尚存活的节点上对应vbucket状态更新为active集群内秒级切换后续数据Rebalance工作由运维工程师来手动完成若集群无可用active vbucket，则通知DNS下线整个IDC冷备发展历程 – KVDB 1. 1 Page 11年10月 – 至今100亿数量item分布式持久化存储引擎LevelDB on SSDIntel 320 300G发展历程 – KVDB 1. 1 Page LevelDB持久化存储引擎多磁盘支持单块磁盘多实例引起的随机IO备份单机支持交错盘备份LevelDB On SSD 问题若干 Page compaction线程数新版本LevelDB对布隆过滤器的支持不需要维护全局的布隆过滤器Intel 320 over provision技术牺牲20%的存储空间换取性能提升LevelDB On SSD 问题若干 cont. Page 缺少的特性不支持快速做key的遍历不支持返回item总数对大数据的支持不好读写都可以触发compaction多次读取Bitcask存储引擎正在做的改进 – KVDB X Page Config Server使用Zookeeper实现维护配置信息以及节点状态自动化Rebalance混合多级存储引擎（RAM/SSD/SAS）友好的管理界面谢 谢！奇虎360