本地文件系统数据更新模式研究分析-research and analysis of local file system data update mode.docx

A Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of Doctor of Philosophy in EngineeringResearch on Update Schemas in Local File SystemsPh. D. Candidate:Chen JieMajor:Computer Architecture Supervisor:Prof. Xie ChangshengProf. Tan ZhihuHuazhong University of Science Technology Wuhan 430074，P.R.ChinaAugust, 2014独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密□，在年解密后适用本授权书。 不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日摘要文件系统的主要作用是组织和存取用户数据。文件系统在磁盘上组织用户数据 的时候一般涉及到多个数据结构，这些数据结构之间存在一致性关联。文件系统在 将内存中修改的数据写回磁盘时一般使用两种基本策略：原地更新和异地更新。原 地更新是指将存储介质上的数据块读取到内存，进行修改，然后再写回到其原始位 置。而异地更新是指将存储介质上的数据读取到内存，进行修改，然后写到一个新 位置（这个过程中不覆盖旧数据）。文件系统进行数据更新时需要确保磁盘上的文 件系统的各个数据结构在更新之后仍然处于一致的状态，这个更新过程面临的最大 挑战是系统可能会随时崩溃。为了解决这个问题，学术界提出了多种文件系统更新 模式，这些更新模式大致可以划分为五类：无序原地更新、有序原地更新、日志更 新、异地更新以及混合更新。在这五类更新模式中，应用最广泛、影响最大的是日 志更新和异地更新。然而这两种更新模式自身的固有问题却很少被学术界深入分析 和研究。针对日志更新固有的写两次问题，提出了一种新的智能日志更新模式。该模式 的核心思想是拦截上层文件系统发往底层存储设备的 I/O 请求，然后将这些 I/O 请 求智能的重定向到日志空间和文件系统空间。其主要涉及四项技术：（1）智能探测 上层文件系统的类型，并提取磁盘上空间分配信息；（2）智能识别文件系统发往底 层存储设备的写请求是否是覆盖性写，若是覆盖性写则将其写到日志空间，否则将 其原地更新到文件系统空间；（3）智能识别文件系统发往底层存储设备的读请求的 目标磁盘块是否已被写到日志空间，若是则将读请求重定向到日志空间，否则直接 发到文件系统空间；（4）在合适的时机将日志空间中保存的数据写回到文件系统空 间。在 Ext3 的基础上实现了一个原型系统，对其性能进行实测，并分别同 Ext3 的 数据日志（data journal）模式和有序日志（ordered）模式进行对比。实验表明，该 智能日志原型系统突破了现有系统在提供版本级一致性和性能上不能兼顾的难题， 既确保了版本级一致性，又达到类似有序日志运行模式的性能。I针对异地更新固有的递归更新问题，提出了一种递归更新的分析模型，并使用该模型对递归更新问题进行了系统研究。首先针对单一 B 树的递归更新问题进行建 模，分析其可能导致的写放大效应，然后将该模型推广到典型的写时复制（采用异 地更新策略）文件系统中。通过仔细设计的实验，对该模型的正确性进行了验证。 之后，通过对该模型进行模拟计算，发现被存取文件在文件系统中的分布情况是影 响整个文件系统的递归更新写放大效应的决定性因素。另外进一步研究发现写放大 效应也会被其它因素所影响，包括存取的文件数量、文件系统中已有文件的数量以 及文件系统树的空间使用率等。针对异地更新固有的递归更新问题，提出了一种同时支持原地更新和异地更新 的文件系统，使用该系统对递归更新进行实证研究，揭示出影响文件系统写放大效 应和性能的新现象和新规律。以 BTRFS 文件系统（本身为写时复制文件系统，采 用异地更新策略）作为研究对象，对其进行