重点项目中期汇报.ppt

大数据环境下存储技术发展对数据管理研究的影响;提 纲;数据处理是推动计算机技术发展的核心技术之一 作为数据处理的底层支撑，存储介质的更新和相关存储技术的发展是推动数据管理技术变革和发展的主要驱动力;提 纲;传统存储设备的演化（go away or on the stage） ;新型存储器件的发展;闪存的工业化程度最高 SSD（solid state drive） 闪存芯片+控制器+FTL（WL, LBA-PBA, GC） （NAND）闪存的特点 读写不对称：写操作需通过加压方式对cell进行电子填充 写前擦除：异位更新、块擦除操作 寿命有限：块擦除次数有限 SLC （约10万次擦写） MLC（小于1万次） TLC（小于1000次）;Spin-torque MRAM;Comparison of Technologies;Comparison of Technologies;新型存储器件-读写延迟 性价比;提 纲;数据库系统总会涉及不同层次的存储器，特别是为支持事务的ACID属性，数据持久化是必须的，因此对于非易失的存储存在需求。 IO始终是制约数据库性能的主要瓶颈，对于支持可高速随机读写的存储存在需求。 数据库就是为了解决“大数据”问题，因此不断增长的数据规模对大容量的存储存在需求。 用廉价磁盘阵列（集群）取代更大的磁盘，导致数据库系统对高可靠的存储存在需求。 不同的读写访问模式，数据价值不同，使数据库对多级（混合）存储存在需求。;数据库都是架构在目标存储层级（ storage hierarchy ）上的 ;数据库都是架构在目标存储层级（ storage hierarchy ）上的 依据主存储介质的不同，将数据库架构分为 Disk-oriented Memory-oriented NVM-oriented;传统的关系数据库都是架构two-tier存储层级上的 低速、非易失、高容量的HDD作为主存储介质 高速、易失、低容量的DRAM作为Cache 由于disk存储特性而引入的IO延时是影响数据库性能的主要瓶颈之一 disk-oriented数据管理系统普遍采用如：Buffer pool或者复杂的并发控制，来缓解disk导致的IO延迟 ;[SIGMOD 08] ：OLTP through the looking glass, and what we found there 测试结果显示，传统disk-oriented数据库只有约12%的CPU时间用于实际处理事务，其它时间都“浪费”在缓存池管理、并发控制和基于日志的事务恢复等辅助性模块上;内存计算中内存的地位与概念正在发生改变 地位：二级存储的cache ? 数据存储的主要载体 ;随着内存成本的不断下降，通过内存来存储整个数据库成为现实。 为消减数据驻留磁盘导致的高昂代价，引发了一类以内存作为主存储介质的研究 并非新的研究话题 90年代初就有研究：“Implementation techniques for main memory database systems”，1984，SIGOD Rec. 早期也有很多知名的in-memory DB系统，如TimesTen、SolidDB、DataBlitz 传统的内存数据库沿袭了System R中的很多影响性能的特征，如disk-based日志、动态锁等（对性能产生一定的影响） ; ; ; ; ; ; 新的存储金字塔形成;混合存储体系;DRAM层面的混合技术 互补优势 DRAM的写延迟低、写能耗低、耐写性高 SCM（PCM）的存储密度高、静态功耗低、非易失;HDD层面的混合技术 互补优势 HDD的廉价、高容量 SCM（NAND FLASH）的随机读写能力、并发读写能力;NVM-oriented架构-NVM模拟器; ; ;提 纲; 对恢复技术的影响; 对恢复技术的影响-[ICDE 2011]; 对恢复技术的影响-[VLDB 2014]; 对恢复技术的影响-[SOSP 2013]; 对恢复技术的影响-比较; 对事务技术的影响; 对事务技术的影响-分布式事务;问题：在传统RDBMS中，MVCC机制下记录的更新操作会产生较高的索引维护代价。维护索引开销的主要来源：低效的磁盘I/O以及索引与多版本记录物理存储位置的高度耦合关系。因此索引数量和检索性能、维护开销存在tradeoff 方案：通过利用低延迟的SCM引入一个间接层，改变了在混合存储层次中的数据结构。利用该间接层解耦了多版本记录在物理表示与逻辑表示之间的关系。当记录更新时，除了建立在更新属性上的索引需要涉及磁盘IO外，其他属性上的索引都只会涉及低延迟的SCM I/O ;对核心算法的影响;对核心算法的影响-[CIDR 2011] ;对核心算法的影响-[CIDR 2011