Checksum技术在文件系统中应用的研究.pdfVIP

Checksum技术在文件系统中应用的研究木 郑思杨尹 国防科学技术大学，湖南长沙410073 摘要：文件系统的可靠性越来越被人们所重视，本文从增强文件系统的可靠性出发，针对现代多 据校验技术的实施方法和所存在的问题改进了checksum技术的实施方案，进一步提高了文件系统的 的最后总结了在实施Checksum技术时应当注意的三个原则。 关键词：数据校验可靠性一致性文件系统 1引 言 安全可靠的存储和访问数据应该是每一个文件系统所重点关注的方面【¨l，不幸的是由于各种原因，现 在的文件系统无法完全保证存储数据的一致性，当这些错误的数据被交给上层应用后，往往会对用户造成 巨大的破坏和损失ll引。因此在数据在交给上层应用之前对数据的正确性做出准确的判断是十分鼋要和必要 Checksum值进行比较，进而来判断数据是否发生了变化，是否完整。但这种方法在具体文件系统的实施中 找到平衡点。本文将在下面仔细讨论这三个问题，并提出自己的具体的实施方法，在最后的结论中总结出 Checksum技术在文件系统中应用的三点原则。 2Checksum技术 2．1ChecI‘sum技术简介 判断一个数据是否完整，是否错误，即需要一个正确的数据作为标准来进行比较和衡量，Checksum技 术正在越来越多的被文件系统所采纳用来检测数据的一致性，当文件系统读取了某个数据后，通过为数据 绝冲突，即找到两个不|J的数据却具有相同的Checksum值是不可能的。 ’基金资助：国家“863”计划资助项目(2007AAOl2408) 作者简介：郑思(1984一)，男，．硕士生，研究方向为信息安全；杨尹(198l-)，男，硕士生，研究方向为信息安全． !!墨 过篁翌l丝查生星趔鲨星：：QQ2 2．2一致性效验的粒度 我们将首先讨论引言中的第三个问题，即在什么粒度上计算数据Checksum值对系统的可靠性和效率 是平衡的。理论上来说，从小到大，我们可以选择从小到几K(甚至更小)的数据，或几Bvte，Block， 合理的选择。一方面，如果选择较大的粒度，当在读取很小的数据量时，由于要整体计算checksum值， 所以会导致很多不必要的I／o。另一方面，如果选择较小的粒度，会带来更多的计算开销和存储Checksum 值的空间开销，因此，选择什么样的粒度，取决于文件系统本身的特性。 确的定位出现错误的数据块，在小数据量的读操作时不会引起大量的I／O操作而影响系统的性能，并且在 Checksum。 Page，进程中的单位，内存中的读取磁盘数据的最小单位。从性能上来说，它比BIock级别更加平衡， 不恒定的)，可能需要我们固定组成页的块，但这样对于数据读取的效率又会有影响，因为我们会为了一个 仍有缺陷，我们将在下一章讲到。13FSl5J采用的就是Page级别的效验。 为每一个文件计算CheckSum值。它的优点是显而易见的，计算开销的减少和空间开销的减少，因为 每一个文件仅需一个checksum值；但是它的缺点也是明显的，会产生过多的l／o开销。有一些应用级别 的效验工具就是在这个粒度上实施的，比如Tripwirel6J。 3Checksum值的存储 3．1checl‘sum值的分散存储 是一致的(因为B块本身没有错)，如图l所示。此时上层应用会得到错误的数据块B并且没有发现错误， 从而对上层用户的应用造成了破坏。所以，首先Checksum值所存储的位置要求能够体现出该数据的位置 信息，以保证取得的数据块就是所希望的块。 。叠拖 譬F蕊1习 匮叠匾五圈 Block Block A(我需要的) B(我得到的) 用户希望得到Bloc