技术technology 针对数据库优化应用背景现代cpu 的计算能力在 .pdf

技术Technology 针对数据库优化 应用背景 现代CPU 的计算能力在过去20 年在以超越摩尔定律的速度在发展，速度提高了近 1 千倍。 而基于磁记录的机械硬盘的存储IO 读写速度在这期间增长了不到10 倍。在高性能的数据 库系统中,性能瓶颈逐渐主要集中在存储IO。这份技术白皮书描述了原生PCIe SSD 的架构 和性能优势，包含数十微秒级别的读写延迟和高达百万IOPS ; 突破了传统数据库系统中的 存储IO 瓶颈, 为大幅度提高数据库的响应速度和实时业务处理能力提供了坚实的平台。 现代数据库系统包含传统的关系数据库和新兴的非关系数据库，应用包括OLTP，数据仓 库等。数据库应用的特殊性对存储系统提出了严格的要求：  数据完整性。写入的数据在掉电或系统崩溃时必须保证写入介质中，因此数据库应 用会非常频繁地fsync 或使用直接写入（direct write）。这大大降低了系统写缓冲 的效能，对写延时提出了非常高的要求。  小块离散访问。数据库系统对数据文件的访问是小块（典型为8k~16k ）的，离散 的，近似随机的，大大降低了系统预读和读缓存的效能，对随机读延时有非常高 的要求。  高并发度。IOPS 应随并发度的增加线性增长，保证性能不会恶化。  高可用性。短期离线或性能降低均是不可接受的。 现有解决方案及不足 当前,很大一部分的数据中心架构解决方案都是基于磁记录硬盘(HDD)而设计并优化。传统 的HDD 由于受机械臂寻址读写的限制，随机读取数据时需要磁头机械定位，即使高端 15K 基于SAS/FC 接口的HDD 的每秒钟完成的随机读写次数IOPS 通常限制在200 次左右。 SSD 的出现为突破性能瓶颈带来了可能：伴随着SSD 技术的成熟，SSD 开始大规模地被数 据中心所采用。为了兼容已有的数据中心架构，很多SSD 采用了与HDD 相同的接口，如 SAS(Serial Attached SCSI)或者FC (Fiber Channel),并在物理形式上与HDD 相似，如2.5 英寸 或3.5 英寸。采用传统硬盘接口的SSD 直接在现有的系统中取代HDD 可以在一定的程度上 缓解存储系统的瓶颈，改善系统效能。普通的SSD 采用模拟HDD 的方式在兼容性上有一 定的优势，但在性能上有非常大的限制:  复杂的数据链路导致高IO 延迟  SSD 性能受嵌入式CPU 限制  冗余的IO 调度 如下图所示： 尤其是在应用了存储区域网（SAN ）后，由于在访问存储介质中所需经过的多道协议和场 景转换，导致延迟损失更加严重，并不能在最大程度上发挥闪存的性能。 Shannon Direct-IO PCIe 固态存储卡 Shannon Direct-IO PCIe 固态存储卡基于原生PCIe 接口，将NAND 闪存直接接入PCIe 总线而 实现应用对闪存的直接读写访问。由于去除了传统SSD 的协议转换及RAID 控制器，网络 协议转换等等系统开销，数据的存储读写延迟大为削减。在Direct-IO PCIe SSD 中，闪存的 快速读写性能可以得到最大程度上的利用，充分发挥CPU 的性能并最终提升应用的响应 速度。 下图描述了Direct-IO PCIe 固态存储卡的系统架构。Direct-IO 卡采用了原生(native)PCIe 的 主控器，绕开了传统的SATA/SAS 存储协议，并充分利用主机CPU 强大的处理能力对闪存 进行直接读写。 软件栈得到了极大的简化，如下图所示： 原生PCIe 接入 Direct-IO 卡通过PCIe 总线将NAND 闪存直接接入系统CPU 。上层应用通过DMA(Direct Memory Access)直接访问闪存完成数据的实时读写。Direct-IO 主要由两部分组成：软件驱 动层和硬件主控层。软件驱动层运行在主机的操作系统内核，利用Host 稳定可靠的CPU 处理能力和高速内存完成对块设备IO 及闪存的管理。 硬件层则完成 DMA 数据的编解 码、 数据流控制及对闪存的并行化读写操作。 Direct-IO 卡对闪存的读写采用了类似于CPU 对内存DRAM 的读取存储方式，去除了冗余 的传统SAS 或SATA 存储协议，并完全避免使用可靠性相对较低的嵌入式CPU 和DRAM, 大 大地减少了系统开销和可能失效点数目。SCSI 协议是为了兼容传统旋转机械式硬盘的深度 延迟而设计优化的存储协议。由于闪存并不存在机械硬盘的延迟特性，使用SCSI 协议管 理读写闪存不但有意