基于文件重构和质量调整的冗余数据删除技术-计算机科学与技术专业论文.docxVIP

上海交通大学工学硕士学位论文摘要 上海交通大学工学硕士学位论文 摘要 万方数据 万方数据 基于文件重构和质量调整的冗余数据删除技术 摘要 随着大数据时代的到来，数据的存储需求急速增长。尽管在过去 的数十年中随着技术的发展，硬件的单位存储价格已经显著下降，但 是因为每天出现的新增数据量非常巨大，因此优化存储空间使用，节 省存储空间仍是非常重要的课题。 现有的多数文件系统将块作为最小存储单元，这样的机制会引起 内部碎片现象，进而导致一定的空间浪费，不同的块大小会导致不同 程度的空间浪费。在文件系统中，如果块大小不合适，内部碎片导致 的空间浪费将会非常可观。除此之外，随着使用环境和使用目的的变 化，现有的很多文件会包含一些冗余信息，从而引起了空间的浪费。 例如，在小屏幕移动设备上查看包含高分辨率图像的文件，这些高分 辨率图像就会造成无谓的空间浪费。如果能够在删除这些冗余信息来 调整文件质量的同时，还可以保留文件的信息并保证文件正常使用， 就能够达到进一步节省空间的目的。 本文中提出了基于文件重构和文件质量调整的冗余数据删除技术。 该技术通过调整文件系统的块大小参数，同时对文件系统进行文件重 构来实现减少文件的内部碎片的目的；同时对于某些具体类型的文件， 该技术通过分析文件的内容，找出冗余数据进行删除和修改来进行文 件质量的调整，从而取得减少空间浪费达到更高的空间使用率的目的。 在具体实现的基于 Ext2/3 文件系统的文件重构方法中，文件重构 过程中只有元数据和一小部分的文件数据需要修改，实验结果表明该 方法可以节省 3%-9%的空间。目前本文方法对微软公司的 PowerPoint 文件以及 PDF 文件实现了文件质量调整，经过试验测试可得方法实现 的空间节省率可以到达 16%-50%。 I 关键词：冗余数据删除、文件重构、文件质量调整 II 上海交通大学工学硕士学位论文ABST 上海交通大学工学硕士学位论文 ABSTRACT Redundancy Elimination Technology Based On Repartition And Quality Modulation ABSTRACT With the arrival of the big data era, the need for storage capacity has been on dramatic rise. Although per unit storage cost has declined in the past decade, the net cost of storing the vast amount of information produced daily is still significant. Thus, optimizing storage usage is every bit as important as before. Every file on disk wastes some space due to internal fragmentation. Different block sizes cause different amount of space waste. Such waste can be significant if the combinations of file and block sizes are not carefully coordinated. In addition, many types of files contain more information than is necessary for the intended usage of the file and the environment they are used. For example, a high resolution image file may be an over kill for display on a small screen device such as a small laptop or mobile phone. If the quality of the files is modulated according to the need and environment, further space reduction can be achieved. This paper proposes a waste reduction method through disk re-partition and automatic quality modulation. By adjusting the block s