闪存存储技术应对大数据挑战.pptxVIP

闪存存储技术应对大数据挑战吴忠杰mailto:zhongjie.wu@zhongjie.wu@北京忆恒创源科技有限公司Agenda闪存技术存储软件面临的挑战高速数据存储管理系统大数据存储展望QA闪存技术企业级SSD发展接口及软件协议栈是性能瓶颈支持双端口和企业级应用高性能采用私有的传输协议高性能国际标准PCIe SSD NVMe SSDSATA/SAS SSDSSD的优势SSD的性能优势HDD、SATA_SDD以及NVMe_SSD性能对比18x2000xMemblaze NVMe SSD国内首款高性能NVMe SSDMemblaze SSD技术纠错码技术数据重读技术（Read retry）BCH/LDPC 解决NAND Flash的位误码问题确保数据从NAND Flash颗粒可靠读取数据持久化技术(Data Retention)NAND Flash间RAID技术（RAIN）确保数据在SSD中长期存储确保数据在NAND Flash颗粒间可靠存储闪存转换层技术(FTL)磨损均衡技术（Wear Leveling）实现SSD盘逻辑地址（LBA）和NAND Flash物理地址之间的映射平衡SSD中NAND Flash颗粒磨损寿命Dynamic / statistic / global wear leveling存储软件面临的挑战传统存储软件设计目标减低磁盘寻道延迟、随机抖动，提高数据访问性能CacheNCQDisk oriented data layoutIO Scheduler传统存储软件栈导出协议栈（FC、ISCSI、NFS）文件系统卷管理系统数据保护系统多路径管理子系统IO 调度器/SCSI协议层HBA驱动层…传统文件系统数据布局对SSD的影响元数据区数据区Inode表Superblock组描述符块位图Inode位图0号块组1号块组Bitmap位图操作、频繁的元数据更新操作对SSD引入额外的写放大，降低使用寿命，降低IO性能。改变！存储介质发生了变化高速存储性能瓶颈分析CPU单核无法发挥SSD性能多核共享资源NUMA非对称访存中断大量中断中断均衡操作系统内存拷贝上下文切换SSD特性顺序写优于随机写写惩罚网络IOPS/带宽瓶颈存储问题高性能计算问题演变面向高速存储介质的软件革新应用NVMe 驱动…面向高速介质的存储软件应用（RISL architecture）数据服务系统FlashRAID存储管理系统NVMe 驱动…高速数据存储管理系统NVMe时代数据保护、卷管理何去何从？高速存储解决方案低速存储解决方案面向高速介质进行架构革新解决高速存储介质新的问题充分利用高速介质新的特征Memblaze的答案：传统软RAIDFlashRAID是什么？FlashRAID是一款针对NVMe SSD数据保护、卷管理系统FlashRAID是什么？高速存储解决方案数据库文件系统文件系统数据库LVM卷管理器FlashRAIDRAID数据保护高速存储介质NVMe驱动SCSI中间层/HBA驱动低速存储介质FlashRAID 1.0产品主要特性数据保护（Data Protection）可扩展性能（Scalable Performance）为NVMe SSD数据可靠性保驾护航充分发挥NVMe SSD的性能可扩展存储容量（Scalable Capacity）快速数据重构（Fast Reconstruction）存储容量线性扩展、简化存储容量管理确保用户数据存储的可靠性一致的数据访问性能（Consistent Performance）统一存储资源管理（Unify Storage Management）确保用户IO访问性能的一致性全面管理系统存储资源，简化存储管理简便的系统管理（easy system management）存储资源精简配置（Thin provisioning）人性化的系统管理简化用户存储配置管理FlashRAID典型应用通用服务器FlashRAID技术架构FlashRAID关键技术存储资源池技术（Storage Pool）无锁IO处理模型（Lock-free IO handling model）分离数据保护域与物理存储资源域加速数据重构性能，增强数据可靠性确保系统性能的线性可扩展提升CPU处理效率全局磨损均衡/逆均衡可变长度条带（Variable Stripe）延长SSD的使用寿命避免多盘同时发生故障减小SSD的数据写放大智能数据重构（Smart data reconstruction）伪随机数据分配（Pseudo-random allocator）确保数据可靠性平衡SSD盘中存储资源，减少数据迁移存储对象管理（Storage object）可靠元数据管理（Reliable Superblock Management）简化存储资源管理确保存储数据可靠性