《Facebook数据中心RDDC设计》.docVIP

Facebook数据中心RDDC设计上 摘要：在今年年初OCP 2013峰会上，Facebook发布了最新的数据中心建设思路RDDCrapid deployment data center，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和Facebook IDC发展之路，并从技术上分析数据... 在今年年初OCP 2013峰会上，Facebook发布了最新的数据中心建设思路RDDCrapid deployment data center，其模块化、标准化、预制化水平到达一个新的高度。本文将回顾RDDC的前世今生和Facebook IDC发展之路，并从技术上分析数据中心建筑、电气、暖通、微模块等，最后谈谈RDDC对国内的影响和启示。本文有不少笔者个人观点和猜想，加之资料和个人水平有限，未免有不少错误，希望读者多多指正本文相关图片材料均来自网络视频等资料。 1 Facebook 数据中心发展之路 在分析RDDC之前，我们不妨回顾一下Facebook数据中心发展之路。Facebook从早期租赁数据中心，到去俄勒冈建自己的数据中心，再到去欧洲瑞典Lulea建新数据中心，虽然中间时间并不长，但其标准化程度和成熟度都很高。这有赖于美国IDC的技术水平发展较高，以及Facebook可以借鉴各种互联网公司经验。总体来说，Facebook IDC演进经历了若干阶段： 1 定制服务器、存储等ICT设备; 2 改变供配电架构，定制冷冻水末端空调[ZY1] ，采用一路480V市电与一路48V电池柜的供电系统架构，发布OCP open rack V1.0[ZY2] 规格。 3 使用Penthouse设计。干燥新风通过蒸发散热，等焓加湿降温[ZY3] ，可以选配DX盘管Facebook只有一个数据中心有配DX盘管。 4 和CA合作。CA提供DCIM软件，Facebook在CA DCIM基础上通过开放接口二次开发相关应用。 5 采用RDDC方法，发布OCP open rack V2.0。改为480V直接到服务器机柜分布式电源[ZY4] ，输出12V，锂电池直挂12V母排架构。 Facebook的数据中心技术发展蓝图大致可以用以下关键事件概括： 图1 Facebook 数据中心发展之路 Facebook一开始定制服务器和存储等设备时候，就希望能优化供配电架构，当时发布的OCP open rack V1.0规范其实就是配合定制服务器电源做成的微模块。具体电源系统单线图如图2所示。 图2 OCP open rack V1.0规范中的电源系统单线图 当然，图2关于UPS的效率86%是非常不合理，实际上现在高频交流UPS的效率可高达96%。关于直流电和交流电在效率上比较，笔者推荐参考施耐德APC 第127号白皮书《数据中心交流配电与直流配电的量化比较》/salestools/NRAN-76TTJY/NRAN-76TTJY_R2_CH.pdf 此白皮书比较中立分析了交直流配电的系统效率。但难以否认的是，Facebook通过整合服务器电源和前端直流UPS，使得效率从73%修正值提升到87%。即使换到国内380V电压应用环境，减少北美480V/208V降压变压器，Facebook的设计也能提高约7%。但是，笔者认为这种整合虽然能够提升效能减少成本，但至少目前而言，对于大部分企业客户，这种对ICT设备的供电架构改造并不现实。另外，有不少人会认为Facebook这种模式通过牺牲系统可靠性来获取效率提升，而可靠性通过软件、多个数据备份等保证，类似Google的方式。但根据Facebook做过相关电气系统可靠性分析，结论却让人感到惊讶，这种简单而高效的系统反而可靠性更高!图3与图4是Facebook工程师分析配电系统可靠性的比较： 图3 典型数据中心可靠性分析 图4 Facebook数据中心可靠性分析 笔者认为Facebook的分析相对较为简单，缺乏整体配电系统架构量化分析，比较科学严谨的方法要使用可用性计算软件，通过单线图和相关电源设计故障时间和维护时间等参数具体计算。但从系统简单即可靠的角度来看，Facebook的配电架构确实未必比传统金融行业Tier4级数据中心配电设计的可靠性低，特别是直流系统的电源运维更简单。所以，从某种意义上说，国内240V直流配电技术的流行，并不是为了效率上的一点提升，而更多是基于系统可靠性相对一致，采购成本和运维比传统交流UPS更优。 同样的道理，我们不妨看看为什么国外用同轴飞轮UPS的用户较多，其实同样因为系统简单。如思科Allen数据中心、雅虎数据中心都用了飞轮UPS，因为配电系统设计非常简单，使用机械系统降低电子控制难度和故障率，配合其无电池设计、非常紧凑的占地面积，还可以作为外置预制电力模块受到