从HDD到片上缓存，揭秘存储带宽性能.docxVIP

本文主要介绍了本地存储介质、网络基础设施以及远程存储系统的带宽。读者可能会发现这在识别IO密集型应用程序(例如AI训练和LLM推理)中的瓶颈时很有帮助。

存储介质、网络和分布式存储解决方案的峰值带宽

基础知识

在深入研究存储的具体细节之前，让我们首先了解一些有关数据传输协议的基础知识。

SATA

SATA(SerialATAttachment)是一种计算机总线接口，它将主机总线适配器连接到大容量存储设备，如硬盘驱动器、光驱和固态驱动器。

实物图

SATA接口和电缆在电脑主板上

修订和数据速率

SATA标准经过多次修订。目前流行的修订版本是3.0，提供的最大IO带宽为600MB/s：

表：SATA?修订版，来源：维基百科

PCIe

PCIExpress是高速串行计算机扩展总线标准。

PCIe(PeripheralComponentInterconnectExpress）是另一种系统总线，用于连接各种外围设备，包括GPU、网卡、声卡以及某些存储设备。

实物图

计算机主板上的各种插槽，来源：维基百科

如上图所示，PCIe电接口是通过通道数来衡量的。

标准和数据速率

表：PCIe单向带宽，来源：

每一代新的PCIe都会将通道带宽提高一倍。

目前，最广泛使用的是Gen4andGen5。

总结

有了以上知识，我们现在可以继续讨论各种存储设备的性能特点。

磁盘

硬盘：~200MB/s

硬盘驱动器(HDD)是一种机电数据存储设备，它使用涂有磁性材料的一个或多个快速旋转的刚性盘片来存储和检索数字数据。

实物图

真实硬盘的内部结构，来源：

支持的接口（总线类型）

HDD可通过多种总线类型连接到主板，例如，

SATA

SCSI

串行连接SCSI(SAS)

下面是SATAHDD：

SATAHDD

以及HDD如何通过SATA电缆连接到计算机主板：

带有SATA电缆的HDD

带宽：受机械因素限制

HDD是机械设备，其峰值IO性能本质上受到各种机械因素的限制，包括执行器臂的运行速度。当前HDD的上限值为~200MB/s，明显低于SATA3.0接口的饱和点(600MB/s)。

典型延迟

表：HDD的典型延迟特性

SATA固态硬盘：~600MB/s

SSD(solid-statedrive)是一种固态存储设备。它不使用任何移动部件提供持久的数据存储。

与HDD类似，SSD支持几种总线类型：

SATA

PCIe（NVME）

…

我们先看第一个：SATA接口的SSD，简称SATASSD。

实物图

SSD通常比HDD小，

不同驱动器的尺寸，从左到右：HDD，SATA固态硬盘，NVMESSD

带宽：受SATA总线限制

由于没有机械部件(如旋转臂)，SATASSD可以充分利用SATA总线的功能。IO带宽上限为600MB/s，比SATA硬盘快3倍。

NVMESSD：~7GB/s,~13GB/s

现在让我们探索另一种类型的SSD：基于PCIe的NVMESSD。

尺寸

NVMESSD比SATASSD更小，它们直接通过4通道连接到PCIe总线，而不是SATA电缆。

带宽：由PCIe总线控制

NVMESSD在PCIeGen4上的峰值带宽为7.5GB/s，在PCIeGen5上的峰值带宽为~13GB/s。

总结

我们以一张图来说明上述三种本地存储介质的峰值带宽：

不同存储介质的峰值带宽

这些（HDD、SSD）通常被称为非易失性或持久性存储介质。

DDRSDRAM（CPU内存）：~400GB/s

DDRSDRAM目前主要用作计算机的主存储器。

实物图

台式电脑的DDRRAM模块(DIMM)的正面和背面，来源：维基百科

CorsairDDR-400内存带散热器，来源：维基百科

DDR内存通过DIMM插槽连接到主板：

ABITBP6计算机主板上的三个SDRAMDIMM插槽，来源：维基百科

带宽:由内存时钟、总线宽度、通道等控制

单通道带宽：

如果启用多通道内存架构，峰值（聚合）带宽将增加数倍：

双通道内存插槽，此特定主板的颜色编码为橙色和黄色，来源：维基百科

例如，

IntelXeonGen5：最多8个内存通道，运行速度高达5600MT/s（358GB/s）

IntelXeonGen4：最多8个内存通道，运行速度高达4800MT/s（307GB/s）

总结

DDR5带宽:

不同存储介质的峰值带宽

GDDRSDRAM（GPU内存）：~1000GB/s

现在让我们看看DDR的另一种变体，常用于GPU。

GDDR与DDR

图形DDRSDRAM(GDDR