facebook数据中心rddc设计.pdf

Facebook 数据中心 RDDC 设计(上) 摘要：在今年年初 OCP 2013 峰会上，Facebook 发布了最新的数据中心建设思路 RDDC(rapid deployment data center)，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾 RDDC 的前世今 生和 Facebook IDC 发展之路，并从技术上分析数据... 在今年年初 OCP 2013 峰会上，Facebook 发布了最新的数据中心建设思路 RDDC (rapid deployment data center)，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾 RDDC 的前世今生和Facebook IDC 发展之路，并从技术上分析数据中心建筑、电气、暖通、 微模块等，最后谈谈 RDDC 对国内的影响和启示。本文有不少笔者个人观点和猜想，加之资 料和个人水平有限，未免有不少错误，希望读者多多指正 (本文相关图片材料均来自网络视 频等资料)。 1 Facebook 数据中心发展之路 在分析 RDDC 之前，我们不妨回顾一下 Facebook 数据中心发展之路。Facebook 从早期 租赁数据中心，到去俄勒冈建自己的数据中心，再到去欧洲瑞典 Lulea 建新数据中心，虽然 中间时间并不长，但其标准化程度和成熟度都很高。这有赖于美国 IDC 的技术水平发展较高， 以及Facebook 可以借鉴各种互联网公司经验。总体来说，Facebook IDC 演进经历了若干阶 段： 1) 定制服务器、存储等 ICT 设备; 2) 改变供配电架构，定制冷冻水末端空调[ZY1] ，采用一路480V 市电与一路 48V 电池 柜的供电系统架构，发布 OCP open rack V1.0[ZY2] 规格。 3) 使用 Penthouse 设计。干燥新风通过蒸发散热，等焓加湿降温[ZY3] ，可以选配DX 盘管 (Facebook只有一个数据中心有配 DX 盘管)。 4) 和 CA 合作。CA 提供 DCIM 软件，Facebook 在 CA DCIM 基础上通过开放接口二次开 相关应用。 5) 采用 RDDC 方法，发布 OCP open rack V2.0。改为480V 直接到服务器机柜分布式电 源[ZY4] ，输出 12V，锂电池直挂 12V 母排架构。 Facebook 的数据中心技术发展蓝图大致可以用以下关键事件概括： 图 1 Facebook 数据中心发展之路 Facebook 一开始定制服务器和存储等设备时候，就希望能优化供配电架构，当时发布 的OCP open rack V1.0 规范其实就是配合定制服务器电源做成的微模块。具体电源系统单线 图如图2 所示。 图 2 OCP open rack V1.0 规范中的电源系统单线图 当然，图 2 关于 UPS 的效率 86%是非常不合理，实际上现在高频交流 UPS 的效率可高达 96%。关于直流电和交流电在效率上比较，笔者推荐参考施耐德APC 第 127 号白皮书《数据 中心交流配电与直流配电的量化比较》 (/salestools/NRAN-76TTJY/NRAN-76TTJY_R2_CH.pdf) 此白皮书比较中立分析了交直流配电的系统效率。但难以否认的是，Facebook 通过整 合服务器电源和前端直流 UPS，使得效率从 73%(修正值)提升到 87%。即使换到国内 380V 电 压应用环境，减少北美 480V/208V 降压变压器，Facebook 的设计也能提高约 7%。但是，笔 者认为这种整合虽然能够提升效能减少成本，但至少目前而言，对于大部分企业客户，这种 对 ICT 设备的供电架构改造并不现实。另外，有不少人会认为 Facebook 这种模式通过牺牲 系统可靠性来获取效率提升，而可靠性通过软件、多个数据备份等保证，类似 Google 的方 式。但根据 Facebook 做过相关电气系统可靠性分析，结论却让人感到惊讶，这种简单而高 效的系统反而可靠性更高!图 3 与图 4 是 Facebook 工程师分析配电系统可靠性的比较： 图 3 典型数据中心可靠性分析 图4 Facebook 数据中心可靠性分析 笔者认为 Facebook 的分析相对较为简单，缺乏整体