《谈PCIe ssd在数据库优化中的作用II之颠覆性创新-吕智超_IT168文库》.pdfVIP

谈PCIe ssd在数据库优化中的作用II之颠覆性创新 Apr 2015 Shannon Systems 宝存科技 关于摩尔定律 • 由于基于Flash闪存存储设备的出现;处理器,内存和存储设备终于都可 以遵循摩尔定律实现快速的发展. 12 核心, 24 线程 DDR4 DRAM@2133MHz 500K IOPS, 9us 延迟 @3.2Ghz 768GB @2U 50TB 裸容量@2U 当谈及数据库应用的存储方案时 • 容量 • 性能 • 安全性 • 应用成本 • Flash 存储起到的作 用 基于Host的PCIe Flash存储的优化与方案 • 超大容量高可用Flash存储(Ultra-capacity and highly available Flash) • 原子写(Atomic Write) • Redo log 优化(Redo log optimization) 大容量Flash存储(Ultra Capacity Flash Storage) • 常规方案: – HBA – 软RAID • 缺点 – 不支持Flash存储设备的高级特性, 比如Trim, S.M.A.R.T信息等. – 性能损耗 – 容错性差,风险高, 如意外掉电数据安全性问题,连续故障等. 大容量Flash存储(Huge Capacity Flash Storage) • 轮转式校验数据存储, 最多可有一个SSD故障 • 由于没有校验数据缓存,数据的随机写入会导致: – 在系统层面,写放大系数一定大于2(过大). – 更快速的寿命损耗. – 会出现”写洞”现象, 影响数据一致性. 6 RAID5处理随机数据写入的步骤 • 4K 随机写第一步: 写入待写数据 当磁盘A被数据填满时,会发生写放大现象 7 RAID5处理随机数据写入的步骤 • 4K 随机写第二步:读取原校验数据 8 RAID5处理随机数据写入的步骤 • 4K 随机写第三步:计算出新的校验数据 9 Random writes in RAID-5 • 4K 随机写第四步:更新校验数据 10 大容量Flash存储(Huge Capacity Flash Storage) • 由于 RMW(read-modify-write), RCW(read-reconstruct-write) 导致 了物理双写, 使整个Array 的WAF(写放大因子) 远远大于2 • 在 RMW, RCW 过程中如果系统出现其他故障可导致交验数据更新不成 功, Write Hole(写洞) 现象产生, 带来数据一致性问题. 大容量Flash存储(Huge Capacity Flash Storage) • 随机写性能不是随着阵列中的磁盘数量线性增长. 8 盘(RAID-5) vs