QConShanghai-刘海锋-京东文件系统简介.pdf

QCon北京2014大会 4月25 日—27 日 @ InfoQ infoqchina 特别感谢 QCon上海合作伙伴 QCon Shanghai 2013 京东文件系统简介 刘海锋 Copyright of JD.com 1.  为什么自主研发 2.  实现技术与经验 3.  正在进行的工作 问题与挑战 •  商品订单 –  365 * 数亿 * ~10KB •  商品图片 –  几十亿 * (20 ~200KB) •  库房记录 –  365 * 十亿 * (KB ~ MB) 各种方案 •  关系数据库 –  Oracle Exadata, … –  Pains – 没法扩容、定期删除 •  开源存储系统 –  HDFS、FastDFS、… –  Pains – 难以选型、定制、维护 自主研发 •  核心软件系统可以自主研发 –  If you believe you canJ •  注意事项 –  紧扣业务需求 •  高度定制 –  分期开展 •  第一期不做大而全 •  缩短开发周期，提高ROI 系统定位 •  V1: Scalable SystemKey-File Store –  特别针对海量小文件 –  强可靠、强一致、高可用 –  Key 由系统本身生成 •  可满足很多业务需求 – Really? •  V2: support user-defined keys and more 1.  为什么自主研发 2.  实现技术与经验 3.  正在进行的工作 编程语言的选择 •  Go写系统框架，C写单机存储引擎 –  各取所长 •  Why Go? –  良好性能，高开发效率 •  适合小团队开发 总体架构 •  客户端 –  Java, C/C++, nginx-based, Go, .. •  Cluster Coordinator –  ZooKeeper •  Datanode –  3 datanodes form a replica group •  1 leader + 2 followers •  一致、持久的存储单元 –  通常每磁盘部署一个实例 Java client Cluster coordinato r monitor