交换机路由器缓冲区，到底要多大？.docxVIP

网络芯片中的缓冲区?

在典型的路由器/交换机ASIC中，会发现三种类型的数据包缓冲区。

入口缓冲区

入口缓冲区保存来自输入链路的传入数据包，而数据包头（通常是数据包的前128-256字节）由数据包处理逻辑处理。该处理逻辑检查数据包头中的各种协议头来计算下一跳。然后为数据包分配出口队列/优先级，并确定数据包必须从哪个出口输出链路转发出去。

数据包在入口缓冲区中驻留一段时间，直到处理完成。在固定的pipeline架构中，数据包处理延迟约为1-2微秒。确定入口缓冲区的大小是为了在处理数据包头时保存数据包内容。

网络芯片性能的衡量标准是在不丢失数据包的情况下，每秒按线路速率可以处理多少比特的流量，以及满足该速率的最小数据包的大小。尽管以太网链路上IP数据包最小可低至64字节，但许多网络芯片都会考虑到典型的网络负载，并设计数据包处理pipeline以满足远大于64字节的数据包性能要求，有效地减少了每秒通过芯片的数据包数量。这样做可以优化数据包处理逻辑，以节省芯片的面积和功耗。

虽然典型工作负载的平均数据包大于350字节，但可能会出现小数据包的瞬时突发（通常是保持网络活动的控制数据包或TCP协议的syn/ack数据包），这可能超额订阅数据包处理逻辑，因为它们不是为处理如此高的每秒数据包转发而设计的。

在网络芯片中，“超额订阅（oversubscription）”意味着资源/逻辑所承受的负载超出了其处理能力。在数据包处理超额订阅的瞬时期间，入口缓冲区会吸收数据包突发。当缓冲区已满时，它们会进行优先级感知丢弃。?

延迟带宽缓冲区(DBB)

在完成数据包处理并确定下一跳后，数据包一般会进入一个深度缓冲区，通常称为延迟带宽缓冲区(DBB)。当路由器的部分/全部输出链路被超额订阅，该缓冲区将在网络瞬时拥塞期间提供缓冲。

当流经网络的流量超过网络的最大容量时，就会发生网络拥塞。造成拥堵的原因有很多：

为了降低系统成本，网络中可能会存在故意的超额订阅。当某些用户使用的带宽超过平均分配的带宽，就会导致拥塞；

当多个主机开始相互通信时，多播/广播流量也可能导致拥塞；

当端点上的某些接口出现故障时，需要将流量分配到剩余的接口，这可能会导致上游网络设备拥塞；

用户错误，如网络配置错误，也可能会导致拥塞；

由于应用程序和用户流量的突发性，某些路由器/交换机也可能会出现流量超过其链路容量的情况。

在拥塞期间，路由器可能会发现其部分/全部输出链路被超额订阅。在极端拥塞的情况下，所有输入流量可能都希望通过单个输出离开。在路由器芯片中设置数据包缓冲区吸收瞬时拥塞，有助于整体网络的健康和吞吐量。

出口缓冲区

在网络拥塞期间，路由器需要确保高优先级流量和其他控制流量不会出现丢包，并且需要满足不同优先级下不同用户的服务质量（QoS）。路由器/高端交换机具有复杂的排队和调度子系统，可以在DBB内针对不同的流维护不同的队列。调度程序以不超过该接口链路容量的速率，将流量从这些缓冲区分发到输出端口接口处的浅出口缓冲区。这些出口缓冲区的大小正好足以掩盖DBB到输出接口之间的往返时延，以便流量可以从输出接口流出，而不会出现突发情况。

可以使用通过交换fabric互连的多个模块化路由芯片来构建大型路由器。下面将使用PFE来指代这些模块化路由芯片。?

在组合输入/输出(CIOQ)架构中，数据包在入口PFE和出口PFE上都有缓冲。如果路由器内出现短暂拥塞，浅入口延迟带宽缓冲区会保留数据包，从而通过交换fabric将数据包从入口移动到出口。出口PFE处的DBB是深度缓冲区，在网络拥塞期间，数据包在其中排队较长时间。

在虚拟输出队列(VOQ)架构中，所有延迟带宽缓冲都在入口PFE中完成。在这里，数据包在入口PFE的虚拟输出队列中排队。VOQ唯一对应于数据包需要离开的最终PFE/输出链路/输出队列。数据包通过出口处的复杂调度程序从入口PFE移动到出口PFE，只有在能够将数据包调度出输出链路时，该调度器才会从入口PFE接受数据包。在VOQ架构中，发往输出队列的数据包可在VOQ中的多个入口PFE中进行缓冲。

调整数据包缓冲区的大小

两大阵营

当谈到交换机和路由器的数据包缓冲区大小时，存在着不同观点的两大阵营：

以学者为首的阵营认为，缓冲区总体来说是臃肿的；

数据中心(DC)网络运营商则要求提供充足的缓冲，以避免通过其路由器/交换机的任何流出现数据包丢失，特别是高度分布式的云/数据挖掘应用。

在大数据应用中，数百台处理查询的服务器可能会向单个服务器发送大量流量，该服务器汇总所有流的响应，这可能会导致持续数十毫秒的短暂拥塞情况。但重要的是，流量不能丢失！

DC内的存储应用对丢包也非常敏感。一般来说，现代