MaglevAFastandReliableSoftwareNetworkLoadBalancer.docxVIP

Maglev: A Fast and Reliable Software Network Load BalancerAbstractMaglev是谷歌的网络负载均衡系统。它是一个大型的运行在商业服务器上的分布式软件系统。不同于传统的硬件网络负载均衡设备，它不需要一个专门的物理机部署，其容量可以通过添加或删除服务器容易调整。Maglev通过等价多路径（ECMP）均匀分发网络路由包；每个Maglev machines相匹配的数据包对应的服务并散布均匀的服务端点。为了适应高和不断增长的传输，Maglev是专为数据包处理性能进行了优化。一个单一的Maglev机能够用小包10Gbps链路。Maglev还配备了一致的散列和连接跟踪功能，以尽量减少意外故障和故障对面向连接的协议的负面影响。自2008以来，Maglev一直在为谷歌的交通服务。它持续了谷歌服务的快速全球增长，它也为谷歌云平台提供了网络负载平衡。Introduction谷歌是全球互联网流量的主要来源[ 29,30 ]。它提供了数百个面向用户的服务，除了许多更多的服务托管在快速增长的云平台[ 6 ]。受欢迎的谷歌服务，如谷歌搜索和Gmail从世界各地收到查询每秒几百万，放在基本服务基础设施的巨大需求。为了满足这种高需求在低延迟，谷歌服务是托管在一个多个服务器位于世界各地的多个集群。在每个集群中，它是必不可少的，均匀地分配流量负载在这些服务器上，以有效地利用资源，使没有一个单一的服务器超载。因此，网络负载平衡器的形式，谷歌的生产网络基础设施的重要组成部分。 网络负载平衡器通常是由多个设备逻辑上位于路由器和服务端点（通常是TCP或UDP服务），如图1所示。负载均衡器负责匹配的每个数据包转发到相应的服务器。网络负载平衡器通常被实现作为专用的硬件设备[ 1，9，3，5，12，2，13 ]，这种方法有几个局限性。他们可扩展性通常由最大容量限制一个单一的单位，使它不可能跟上随着谷歌的流量增长。他们不满足谷歌的高可用性的要求。虽然经常成对部署以避免单点故障，他们只提供1 + 1冗余。他们缺乏快速迭代所需的灵活性和可编程性，因为它通常是困难的，如果不是不可能的，修改硬件负载平衡器。他们是昂贵的升级。增加硬件负载平衡器的能力通常包括购买新的硬件以及作为物理部署。因为所有这些限制，我们调查和追求替代解决方案。 托管在集群充满商品服务器的所有服务，我们可以建立网络负载平衡器作为一个分布式的软件系统对这些服务器的运行。一个软件负载平衡系统比它的硬件对应的许多优点。我们可以解决可扩展性，采用扩展模型，在负载平衡器的容量可以通过增加系统中的机器数的改进：通过ECMP转发，流量可以均匀地分布在所有的机器。可用性和可靠性提高，因为系统提供了n + 1冗余。通过控制整个系统本身，我们可以快速添加、测试和部署新的功能。同时，对负载均衡器本身部署大大简化：系统只使用现有的服务器集群内。我们也可以将多个服务之间的负载平衡器的碎片以相同的集群实现性能隔离。 尽管所有的好处，一个软件网络负载均衡器的设计与实现是非常复杂和具有挑战性的。首先，系统中的每一台机器必须提供高吞吐量。让N是系统中的机器的数量，T是一台机器的最大吞吐量。该系统的最大容量是N×T.如果不够高，它将不为系统提供足够的所有服务[ 22 ]能力。系统作为一个整体也必须提供连接持久性：属于同一个连接的数据包应该总是指向同一个服务端点。这保证了服务质量，集群是非常动态的，失败是很常见的[ 23，40 ]。本文介绍了Maglev，一个快速，可靠的软件网络负载平衡系统。Maglev一直是谷歌的前端服务基础设施，自2008以来的一个关键组成部分，而目前承载几乎所有的谷歌的传入的用户流量。利用近年来高速服务器网络技术[ 18，41，35，31 ]，每个Maglev能够实现线速的小数据包吞吐量。通过一致的散列和连接跟踪，Maglev提供了可靠的数据包传输，尽管频繁的变化和意想不到的失败。虽然本文中所描述的一些技术已经存在多年，本文展示了如何使用这些技术来建立一个操作系统。本文的主要贡献是：1）介绍了Maglev的设计和实现，2）在全球范围内运营的Maglev的经验，3）展示了Maglev的能力，通过广泛的评估。 System Overview本节提供 Maglev网络负载平衡器是如何工作的。我们给谷歌的前端服务体系结构作了简要介绍，接着说明Maglev系统配置。2.1 Frontend Serving ArchitectureMaglev是部署在谷歌的前端服务的地点，包括不同大小的簇。为了简单起见，我们只专注于在较小的集群在本文中的设置，并简要地描述了较大的集群设置如下。图2显示了谷歌的前端在小集群安装服务体系结构概述。谷歌的所有服务都有一个或多个虚拟IP地址（VIPs）。