面向复杂应用环境的数据存储系统理论与技术基础研究（项目.PDFVIP

国家重点基础研究发展规划（973 ）项目 面向复杂应用环境的数据存储系统理论与技术基础研究 （项目编号：2011CB302300 ） 简 报 [2014] 02 号 总第11 期 项目办公室 编 2014 年12 月10 日 项目研究进展 国家973 计划项目“面向复杂应用环境的数据存储系统理论与技术基础 研究” 自2014 年1 月份以来，各课题根据项目总体任务、目标和调整方案， 围绕面向服务的异构融合存储体系和复杂应用环境下的泛在存储服务这两 个科学问题推进研究工作。截止 2014 年 12 月，项目研究成果包括在 INFOCOM 、FAST 、USENIX ATC 、HPDC 、MSST 等本领域国际顶级会议 以及IEEE TC 、IEEE TPDS 、ACM ToS 等国际权威期刊上共计发表论文85 篇，申请国内国际发明专利共36 项，获授权专利20 项，申请软件著作权1 项，培养博士后2 人、博士 14 人、硕士61 人。项目研究成果获国家技术 发明二等奖1 项，获省部级科技进步一等奖1 项。 课题一: 融合存储体系结构与服务架构研究 课题从融合存储系统的组织、面向复杂应用环境的按需服务以及构建 示范三个层面开展了融合存储系统与面向复杂应用的按需服务等关键技术 的研究和开发工作。发表了35 篇论文，其中在中国计算机学会推荐的A 类 国际期刊和会议上发表学术论文 11 篇（IEEE TC 3 篇、TPDS 3 篇、 INFOCOM’14 2 篇、INFOCOM’15 2 篇、FAST ’15 1 篇），B 类论文9 篇。 1 新增牵头制定国家标准《分布式异构存储管理规范》。申请发明专利15 项， 授权专利9 项，其中一项美国专利；培养博士后 1 人，博士4 人，硕士生 21 人。 通过研究，在融合存储系统和按需服务关键技术等方面取得一定成果: 构建完成能够支持 Flash/PCM 等多种异构存储介质的融合存储平台，实现 设备端的关键软件；提出基于虚拟块并行的混合映射算法（VBP-FAST ）， 通过三级并行，极大降低完全合并操作代价。基于关联特征的数据组织与 面向异构非结构化数据的近似查询技术。设计了一种基于溯源的视频共享 系统Provis ，利用视频溯源来解决近似重复视频给系统和用户带来的存储和 传输开销的问题。针对大数据应用中存在数据重复存储效率低的问题，开 展数据去重技术研究与优化，提出Asymmetric Extremum （AE ）分块算法， 寻找非对称区域内的局部极值来解决边界偏移问题。 主要研究结果包括： (1)构建完成能够支持 Flash/PCM 等多种异构存储介质的融合存储平 台。实现了FMC （FPGA Mezzanine Card ）接口和DDR 接口两套子卡，完 成了NAND Flash 控制器核PCM 控制器功能性验证工作；实现设备端的关 键软件，包括支持NVMe 协议的固件层软件、FTL 、中断、DMA 等底层驱 动软件。融合存储硬件平台拥有改进丰富的计算和存储资源，相比Virtex-6 FPGA 采用的MicroBlaze 嵌入式软核处理器，Zynq ARM 双核处理器具有 更强的运算能力（1GHz 主频），适合完成复杂的计算任务，并且具有丰富 的外部设备接口，便于与PS 层的外设和PL 层的用户自定义逻辑进行交互。 (2)提出了一种新的FTL 算法，称为基于虚拟块的并行全相连映射算法 （VBP-FAST ），该FTL 算法中将闪存空间分为虚拟块（VBlock ）和物理块 （PBlocks) 。VBlocks 可以充分利用闪存中的通道级、die 级和plane 级并行。 通过这三级并行，VBP-FAST 算法可以极大的降低完全合并操作的代价。