QConShanghai2013-刘海锋-京东文件系统简介.pdf

QCon Shanghai 2013 京东文件系统简介京东文件系统简介 京京东文件系统简介东文件系统简介 刘海锋刘海锋 刘海锋刘海锋 Copyright of JD.com 提纲 1. 为什么自主研发 2. 实现技术与经验 3. 正在进行的工作 问题与挑战 • 商品订单 – 365 * 近亿* ~10KB • 商品图片 – 几十亿* (20 ~200KB • 库房记录 – 365 * 几亿* (KB ~ MB 各种解决方案 • 关系数据库 – Oracle Exadata, … – Pains – 没法扩容、定期删除 • 开源存储系统 – HDFS、FastDFS、… – Pains – 难以选型、定制、维护 自主研发 • 核心软件系统可以自主研发 – If you believe you can☺ • 注意事项 – 紧扣业务需求 • 高度定制 – 分期开展 • 第一期不做大而全 • 缩短开发周期，提高ROI 系统定位 • V1: Scalable Key-File Store – 特别针对海量小文件 – 强可靠性与一致性 – Key由系统本身生成 • 可满足很多应用的需求 关于编程语言 • Go写系统框架，C写单机存储引擎 – 各取所长 • Why Go? – 良好性能，高开发效率 • 适合小团队开发 总体架构 • Cluster Coordinator – ZooKeeper • Datanode – 通常每磁盘部署一个实例 • Replica Group – 3 datanodes形成复制组 • Pre-defined Leader + 2 Followers • Full-quorum replication Java client Cluster coordinator monitor datanode checker replica group 客户端视图 /jfs-root/ datanodes/ replicagroup-1/ :20130; :20130; :20130 replic