校园数据中心高可靠性网络研究与实现.docVIP

校园数据中心高可靠性网络的研究与实现 沈立强 吴海燕 戚丽 （清华大学计算机与信息管理中心，北京 100084） mail:slq@cic.tsinghua.edu.cn 摘要：校园数据中心是数字校园的核心，无单点故障的、高可用性网络的建设至关重要。本文以清华大学校园数据中心的网络建设为实例，探讨如何设计数据中心的网络设计方案保证网络的可靠性，做到任何交换机不会导致整个网络瘫痪，从根本上解决面临的风险。university, so the building of single failure free, high available network is of the top importance. Based on Tsinghua University UDC network building practice, this paper discusses how to design UDC’s network building plan to achieve network’s high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this way, totally reduce UDC’s network risk. keyword：university data center high available network single failure AFT VRRP 前言 清华大学在教育信息化建设方面经过十余年艰苦努力，尤其在启动“211工程”之后，逐步建成了综合信息服务系统、办公自动化系统、综合教务系统、网络教学系统、财务工资管理系统和开放实验室综合管理系统等多个应用系统，数据中心为上述应用系统提供了完善的网络和运行环境，并承担了所有应用系统的运行和维护任务。目前数据中心内有各类服务器80余台，几乎所有应用系统的关键数据都存放在数据中心，数据中心与各个业务部门之间的保持着频繁的重要通讯。 为了保证数据中心的高可用性，达到7*24小时不间断服务的目标，一个全冗余、无单点故障的网络就成了数据中心的基础。为实现路由冗余，可以采用VRRP协议；为实现交换机的冗余，可以采用SPT协议；为实现链路冗余，可采用link-aggregation技术等。本文以清华大学数据中心的网络建设为实例，探讨如何设计数据中心的网络设计方案保证网络的可靠性，做到任何交换机不会导致整个网络瘫痪，从根本上解决面临的风险。采用硬件上的冗余，包括交换机的冗余、交换机之间链路的冗余和服务器网卡的冗余实现。 图 1 数据中心网络拓扑结构 清华大学校园数据中心网络可靠性分析 一个高可靠的网络应该是全冗余、无任何单点故障的。下面我们根据图1的网络拓扑，从网络设备、通信链路两方面来分析清华大学校园数据中心网络的单点故障情况。 网络设备的可靠性分析 (1) 中心路由交换机 中心路由交换机采用的是华为公司高端千兆路由交换机Quidway S8016。S8016的主控板、交换网板 图 2 Net1的VRRP协议配置 通过在RTA和RTB上启用VRRP协议，使RTA和RTB都成为VRRP路由器，正常情况下RTA和RTB通过Net1定期交换Hello报文以确定主虚拟路由器和备份虚拟路由器。一旦备份虚拟路由器在规定的时间内没有从Net1收到主虚拟路由器发送的Hello报文，将自动变为主虚拟路由器，接管原主虚拟路由器的所有工作。这个时间很短，一般小于3秒，因此，用户基本上感觉不到该切换。当然，在切换过程中可能会发生短时间内网络路由不正确和少量IP报文丢失，通过TCP的重传机制将保证端到端数据的正确性。 当Net1中的主机要向Net1以外的网络发送IP报文时，先进行ARP广播，请求网关（10.0.1.1）的MAC地址。RTA和RTB都收到了该请求，但只有主虚拟路由器响应该ARP请求，并以虚拟路由器MAC地址00-00-5E-00-01-11进行应答。主机将IP报文以00-00-5E-00-01-11为目的MAC地址封装在以太网的帧中进行发送，主虚拟路由器接收该帧并基于IP进行报文转发。 这样，就通过VRRP协议实现了对中心路由交换机的动态冗余备份。 (2) 接入交换机 为了消除由接入交换机引起的单点故障，必须设置冗余的交换机。我们可以将两个交换机级联（或堆叠）在一起，从逻辑上组成一个交换机。为提高级联的可靠性，可采用端口聚合的方式进行双链路级联。对于Extreme的交换机，还可以用