漫谈CLOS架构教材.docx

1、数据中心网络架构挑战　　随着技术的发展，数据中心的规模越来越大，一个数据中心的服务器容量从几年前的几千台服务器发展到今天的几万甚至几十万台。为了降低网络建设和运维成本，数据中心网络的设计者们也竭力将一个网络模块的规模尽可能扩大。同时，数据中心网络内部东西向流量也日益增加，在一些集群业务的需求驱动下，数据中心网络设计者们甚至开始讨论一个网络模块内10000台千兆线速服务器的可能性。　　常见的数据中心网络模块的典型架构是双核心交换机＋TOR接入交换机两级结构，如下图所示：图1 典型数据中心网络模块架构　　那么，在这种更大规模数据中心的发展趋势下，这样的数据中心网络架构（其实另外一种典型的三层结构也一样）会面临什么挑战那？　　首先，我们会看到单个网络模块的规模直接受限于核心交换机设备的端口密度。比如，对应10000台千兆服务器1：1超载比接入的要求，每台核心交换机应该提供至少500个线速无阻塞万兆端口，这已经在挑战商业市场主流交换机产品的极限了。如果需要更大规模的网络那？貌似只能等待厂商推出更高密度的产品了。　　其次，随着核心交换机设备越来越庞大，端口数量越来越多，核心交换机的功耗也据高不下，很轻易的达到接近10kw的量级。这个电源的要求虽然对很多财大气粗的互联网企业自建的数据中心来说是小菜一碟，但对于大部分企业来说，这意味着2～3个月以上的机架电源改造周期，要知道，在国内大多数IDC机房，单机架的供电能力仅3kw左右。　　于是，数据中心网络设计工作者开始研究是否有其它的架构设计方案。2、CLOS网络架构登场　　在讨论正题之前让我们一起看看业内人士经常挂在嘴边的CLOS到底是何方神圣。CLOS是一种多级交换架构，目的是为了在输入输出增长的情况下尽可能减少中间的交叉点数。典型的对称3级CLOS架构如下图所示：图2 对称3级CLOS交换网络　　事实上CLOS架构并不是什么新鲜的东西，早在1953年，贝尔实验室Charles Clos博士在《无阻塞交换网络研究》论文中提出这种架构，后被广泛应用于TDM网络（多半是程控交换机），为纪念这一重大成果，便以他的名字CLOS命名这一架构。　　现在我们再回到数据中心网络设计的话题。实际上，前面提到的严重依赖厂商产品端口密度的架构设计方法让很多设计者们如鲠在喉，让他们找到了挑战的兴奋点。犹如Linux 社区的开源之风一般，他们更希望的是摆脱厂商产品限制，找到一种架构设计方法，最好是可以使用廉价、普通的小盒子设备来搭建一个规模可以非常庞大的网络。　　在美国加利福尼亚大学计算机科学与工程系以Mohammad Al-Fares为代表的几位教授的研究下，这种思路达到了登峰造极的程度。　　在他们于2008年发表于SIGCOMM的论文《A Scalable, Commodity Data Center Network Architecture》中，明确提出了一种三级的，被称之为胖树（Fattree）的CLOS网络架构。利用这种架构方法，可以采用一种固定数量端口的盒式交换机搭建一个大规模服务器接入的网络。具体的说，当采用端口数为k的交换机时，核心交换机数量为(k/2)2个，共有k个Pod，每个Pod各有(k/2)个汇聚和接入交换机，可接入的服务器数量为k3/4。并且这种架构可以保证接入、汇聚、核心的总带宽一致，保证服务器接入带宽1：1的超载比。下图所示的是该架构当k＝4的示例。图3 k＝4时的胖树CLOS网络　　显然，当k＝48，即采用48端口千兆盒式交换机时，这个架构的核心交换机数量为576个，一共有48个Pod，每个Pod有24台汇聚交换机和24台接入交换机，共2880个交换机，可以支持到27648台千兆服务器的1：1超载比接入。设备的数量虽然看上去很惊人，但毫无疑问的确是一种可扩展的架构，而且似乎对设备没有特别的要求。　　更令人鼓舞的是，这几位教授除了纸上谈兵外，还非常注重实战，论文中详细的对IP地址划分、路由策略、流量调度算法等进行了详细设计，也和传统的设计方法进行了成本和功耗方面的对比。更匪夷所思的是，大概这几位老大也意识到交换机数量庞大带来的设备摆放和互联线缆问题，甚至还给出了设备打包和机架安排方案。一言以蔽之，只要你严格按照这篇论文进行设计，一个几万台1：1带宽超载比的千兆服务器数据中心网络就呼之欲出，几乎所有重要的问题都被周密的考虑到了。　　另外，也可以将上述方案做一些变化，比如，将汇聚和核心设备换成全万兆端口的交换机，如现在流行的64端口万兆交换机，接入换成万兆上联的交换机，如现在流行的4万兆＋48千兆的交换机，这样同样规模的网络情况下，设备和互联链路的数量可以大大减少。更具体的设计情况大家可以照猫画虎自己研究一下：）3、迷雾重重　　到这里，似乎问题都解决了，数据中心网络的设计工作者们多了一个