加密重复数据删除系统的垃圾空间回收方法研究.pdfVIP

摘要

摘要

随着数据备份频率的提升和云端存储的广泛应用，存储系统中冗余数据的比

例不断增加，存储成本逐渐上升。重复数据删除技术使用指纹引用代替重复块的

存储，以降低存储成本。加密重复数据删除技术在重复数据删除操作之前引入额

外的加密层，首先对数据进行加密处理，随后在密文数据块上执行重复数据删除，

以确保数据的安全性。

现有的代表性加密重复数据删除系统Metadedup采用了两阶段重复数据删除

来节省重复块的网络传输开销，首先上传块指纹并执行用户内部的重复数据删除，

然后上传该用户的唯一块内容并运行跨用户的重复数据删除。针对元数据管理，

其将元数据组织为元数据块并进行重复数据删除来节省开销。然而，其存在三个

方面的问题：首先，两阶段重复数据删除无法节省跨用户重复数据的网络传输开

销；其次，其元数据块的的引用信息由每个文件的文件配表单独维护，其存储开销

仍然存在进一步可节省的空间；最后，其没有实现文件删除和垃圾空间回收，尽

管其为每个块维护了引用计数，但引用计数的维护存在复杂性和高开销问题。

基于此，本文设计了加密重复数据删除系统MetadedupGC，旨在节省重复数

据传输的网络带宽、实现高效的元数据管理，并支持高效的垃圾空间回收功能，其

包含三部分的设计：(i)提出了随机化的两阶段重复数据删除方法，对于上传的块

指纹执行全局的重复数据删除，并对返回信息进行随机化处理来隐藏文件的存在

信息，该方案可以降低跨用户重复块的网络通信成本。(ii)引入Merkle树结构以取

代文件配表，用于表示文件的引用结构，实现了多级别的重复数据删除，从而进

一步压缩存储开销。(iii)实现了三种基于标记法的垃圾空间回收算法，LGCB基于

文件逻辑结构标记活块，该方案有助于理解现有元数据管理的不足；PGCB针对

文件系统森林层次遍历，可以实现高效的标记过程；PGCP则针对数据结构进行优

化，采用Perfect哈希精准地识别活块，同时压缩了内存占用。

最后，本论文用大量的实验证明：对于重复文件的上传，本系统相对于

Metadedup方案和RARE方案分别可以节省45%和27%的通信成本；在总压缩率

为200的存储环境中，本系统可以实现89.5%的总体元数据开销节省，并且文件

引用结构的构建只会造成2.4%和1.4%的文件上传和恢复损耗；基于层次遍历的

PGCB和PGCP可以避免标记开销随逻辑文件增长的问题。

关键词：垃圾空间回收，活块识别，加密重复数据删除，Merkle树，侧信道攻击

I

ABSTRACT

ABSTRACT

Withtheincreaseofdatabackupfrequencyandthewidespreadapplicationofcloud

storage,theproportionofredundantdatainthestoragesystemisincreasing,andthestor-

agecostisgraduallyrising.Deduplicationtechnologyusesfingerprintreferencestore-

placethestorageofduplicatechunkstoreducestoragecosts.Encryptiondeduplication

introducesanadditionallayerofencryptionbeforededuplicationoperations.Dataisfirst

encryptedandthendeduplicationisperformedonciphertextdatachunkstoensuredata

security.

TheexistingrepresentativecryptographicdeduplicationsystemMetadedupadopts

two-stagededuplicationtosavethenetworktransmissionoverheadofduplicatechunks.It

firstuploadsthechunkfingerprintandperfor