《QConBeijing二零一六-京东大规模内存存储平台-刘海锋》.pdf

@InfoQ infoqchina 京东大规模内存存储平台 刘海锋 京东自研分布式存储产品体系 一年里所做的努力  京东文件系统  对象存储  弹性块存储  高速NoSQL服务 自主研发 –需求驱劢，分期开展，高度定制，互相复用 Jingdong File System • 海量小文件  Paxos变体复制协议 •大文件  Chain Replication • 分布式名字空间  基于RDBMS ，平滑扩展 负责交易订单、商品图片、仓库流水等核心数据存储 Jingdong Object Storage S3兼容，服务公司众多业务，PB规模 Load Balancer Service Gateway Account/Bucket Manager Log data pipeline Data storage subsystem Metadata Management (JFS) (ET) Erasure Coding Subsystem Jingdong Block Storage •持久、无故障的“云硬盘”抽象  后端实现复制和高可用  主要应用于虚拟化平台 •技术挑战  故障切换与恢复、性能调优 Volume manager VM VM VM BlockNode BlockNode Storage Backend Physical Host BlockNode BlockNode Jingdong In-Memory Store What is Jimstore  在之前Redis缓存平台基础上进一步创新  兼容Redis协议的高速NoSQL服务  综合利用RAM、SSD、HD多级存储层次  性能*规模/成本 = 软件研发*硬件投入*运维手段 “Memory is the new disk.” – Jim Gray 在线数据常驻内存 • 商品价格 • 购物车 • 配送 • 推荐