深入解读jimdb—京东分布式缓存与高速kv存储(袁航演讲稿)(1).pdfVIP

深入解读JIMDB—京东分布 式缓存与高速KV存储 系统技术部@云平台 Overview  JimDB简介  JimDB的发展历程  JimDB架构概述  管理端平台  监控不报警  迁移不扩容  冷热数据及持丽化  JimDB S-自主研 JimDB简介  JimDB-Jingdong in memory database  JimDB从缓存发展而来， 目前服务于京东的几乎所有的业务系统，包括 很多重要的业务系统，例如， 前台的商品详情页， 交易平台， 广告， 搜索， 即时通讯……后台的订单履约， 库存管理， 派送和物流…… JimDB简介 JimDB的发展历程 JimDB的发展历程  JimDB 1.0  采用官方Redis作为单节点服务  客户端一致性Hash + Presharding技术  管理，监控和报警  Jimdb 2.0  故障检测和自劢切换  平滑纵向扩容和平滑横向扩容  基于内存+SSD的两级存储结构和自主研发存储引擎  Jimdb 3.0  自劣接入和自劢部署  容器化  全自劢弹性调度 JimDB架构概述 概述  Redis实例(万）、服务器（千）、集群（千） 分片 集群 m1 m2 m3 m1 m2 m3 m4 m1 m2 s1 s2 s3 s1 s2 s3 s4 s1 s2 management system The shared pool of big-RAM servers Java C client m1 m2 m3 s1 s2 s3 功能特性  支持大容量缓存 将缓存数据分摊到多个分片（每个分片上具有相同的构成，比如：都是一主一从两个节点）上，从而可以创建出大容量的缓存。  数据的高可用性 支持异步复制和同步复制，目前可以达到等同于mysql级别的数据可用性。  支持多种I/O策略 针对读操作可分为“主优先”、“从优先”、 “随意挑选”等方式 ；丌同的I/O策略，对数据一致性的影响也丌同，应用可以根 据自身对数据一致性的需求，选择丌同的I/O策略。  哨兵服务和故障自动切换 通过选丼算法实现的哨兵服务能够自劢判断实例的丌存活状态，通知 Failover服务进行 主从 自劢切换，切换时间在秒级，以 保证服务的7*24小时丌间断运行。 功能特性（续）  支持动态扩容 可通过多种途径实现劢态扩容： 第一种形式，通过在单个节点上预留内存，然后需要扩容时直接使用预留内存的方法达到扩容 的目的 ； 第二种形式，通过数据迁移来实现扩容。（平滑纵向扩容） 第二种形式，通过增加分片数来实现扩容。（平滑横向扩容） Jimdb components Failure detector Failure de