Facebook数据中心模块化快速部署设计.pdfVIP

Facebook 数据中心模块化快速部署设计 Facebook 的数据中心建设思路，其模块化、标准化、预制化水平 到达一个新的高度。本文将回顾RDDC 的前世今生和Facebook IDC 发 展之路，并从技术上分析数据中心建筑、电气、暖通、微模块等，最 后谈谈RDDC 对国内的影响和启示。 (本文相关图片材料均来自网络 视频等资料)。 1 Facebook 数据中心发展之路 在分析RDDC 之前，我们不妨回顾一下Facebook 数据中心发展之 路。Facebook 从早期租赁数据中心，到去俄勒冈建自己的数据中心， 再到去欧洲瑞典Lulea 建新数据中心，虽然中间时间并不长，但其标 准化程度和成熟度都很高。这有赖于美国IDC 的技术水平发展较高， 以及Facebook 可以借鉴各种互联网公司经验。总体来说，Facebook IDC 演进经历了若干阶段： 1) 定制服务器、存储等ICT 设备; 2) 改变供配电架构，定制冷冻水末端空调[ZY1] ，采用一路480V 市电与一路48V 电池柜的供电系统架构，发布OCP open rack V1.0[ZY2] 规格。 3) 使用Penthouse 设计。干燥新风通过蒸发散热，等焓加湿降温 [ZY3] ，可以选配DX盘管(Facebook只有一个数据中心有配DX盘管)。 4) 和CA 合作。CA 提供DCIM 软件，Facebook 在CA DCIM 基础上 通过开放接口二次开发相关应用。 5) 采用RDDC 方法，发布OCP open rack V2.0。改为480V 直接 到服务器机柜分布式电源[ZY4] ，输出12V，锂电池直挂12V 母排架 构。 Facebook 的数据中心技术发展蓝图大致可以用以下关键事件概括： 图1 Facebook 数据中心发展之路 Facebook 一开始定制服务器和存储等设备时候，就希望能优化供 配电架构，当时发布的OCP open rack V1.0 规范其实就是配合定制 服务器电源做成的微模块。具体电源系统单线图如图2 所示。 图2 OCP open rack V1.0 规范中的电源系统单线图 当然，图2 关于UPS 的效率86%是非常不合理，实际上现在高频 交流UPS 的效率可高达96%。关于直流电和交流电在效率上比较，笔 者推荐参考施耐德APC 第127 号白皮书《数据中心交流配电与直流 配电的量化比较》 此白皮书比较中立分析了交直流配电的系统效率。但难以否认的 是，Facebook 通过整合服务器电源和前端直流UPS，使得效率从 73%(修正值)提升到87%。即使换到国内380V 电压应用环境，减少北 美480V/208V 降压变压器，Facebook 的设计也能提高约7%。但是， 笔者认为这种整合虽然能够提升效能减少成本，但至少目前而言，对 于大部分企业客户，这种对ICT 设备的供电架构改造并不现实。另外， 有不少人会认为Facebook 这种模式通过牺牲系统可靠性来获取效率 提升，而可靠性通过软件、多个数据备份等保证，类似Google 的方 式。但根据Facebook 做过相关电气系统可靠性分析，结论却让人感 到惊讶，这种简单而高效的系统反而可靠性更高!图3 与图4 是 Facebook 工程师分析配电系统可靠性的比较： 图3 典型数据中心可靠性分析 图4 Facebook 数据中心可靠性分析 笔者认为Facebook 的分析相对较为简单，缺乏整体配电系统架构 量化分析，比较科学严谨的方法要使用可用性计算软件，通过单线图 和相关电源设计故障时间和维护时间等参数具体计算。但从系统简单 即可靠的角度来看，Facebook 的配电架构确实未必比传统金融行业 Tier4 级数据中心配电设计的可靠性低，特别是直流系统的电源运维 更简单。所以，从某种意义上说，国内240V 直流配电技术的流行， 并不是为了效率上的一点提升，而更多是基于系统可靠性相对一致， 采购成本和运维比传统交流UPS 更优。 同样的道理，我们不妨看看为什么国外用同轴飞轮UPS 的用户较 多，其实同样因为系统简单。如思科Allen 数据中心、雅虎数据中心 都用了飞轮UPS，因为配电系统设计非常简单，使用机械系统降低电 子控制难度和故障率，配合其无电池设计、非常紧凑的占地面积，还 可以作