重复数据删除技术研究进展.pdfVIP

36 《高性能计算发展与应用》 2014年第三期 总第四十八期 重复数据删除技术研究进展  姜晓夏 张兴军 王龙翔 伍卫国 董小社 西安交通大学电子与信息工程学院 西安 710049 摘要： 重复数据删除是一种在存储系统中检测并消除数据冗余的技术。它通过将数据进行划分， 只存储单一内容及其他引用该内容的指针，达到缩减数据空间的目的。重复数据删除技术能够 极大地缩减数据存储容量需求，提高网络带宽利用率，降低企业IT运营成本，成为产业界和学 术界的研究热点。在EMC、IBM、HP、NetApp、NEC等存储厂商的推动下，重复数据删除已 经逐渐成为存储系统的标准配置。本文首先介绍了重复数据删除技术的定义、分类，以及一般 过程。然后对重复数据删除领域一些热门问题的研究现状进行了总结。热门的研究问题包括主 存储和二级存储数据集特性、数据划分方法、减轻磁盘索引瓶颈、提高恢复性能、可靠性、可 扩展性等。最后通过对研究现状进行总结，结合存储和高性能计算的新兴技术，指出重复数据 删除技术未来可能的研究方向。 关键词：重复数据删除，数据集特性，磁盘索引瓶颈，恢复性能，可扩展性 根据IDC的预测，到2020年，全球数字量将会膨 重复数据删除发生的位置、时机以及重复检测 胀到40ZB，而这一数字量将继续以每两年翻一番的 粒度可以根据应用场景来综合选择。一般情况下， 速度增长。需要加以保护的数据比率将从2010年的 相比于目的端去重，源端去重可以在缩减数据量的 [1] 不到三分之一增长到2020年的40%。企业数据中心 同时节约网络带宽，但消耗客户端资源；在线去重 的存储需求量越来越庞大，已从之前的TB级上升到 相比于后处理去重会增加系统延迟，但不用进行额 [2] PB级，甚至EB级 。 外的磁盘读写；去重的粒度越细，获得的数据缩减 研究发现，在备份和归档存储系统中，有高达 率越高，但付出的代价也越大。 80%~90%的数据冗余。虚拟化系统（如VMware、 除了对数据缩减率的考虑，重复数据删除延长 Xen等）中的操作系统镜像间也产生了大量的冗余数 了存储系统的I/O路径，因此如何减少额外的I/O代 [3] 据，基于虚拟机的主存储系统中有80%的冗余 。对 价，提高系统的吞吐率是一个经典的研究热点。此 文件服务器来说，邮件和文档也会成为主要的重复 外，对系统恢复性能、可靠性、可扩展性等问题的 来源。这些系统都可以用重复数据删除技术来有效 研究都取得了一定的进展。 地节约存储空间。重复数据删除技术还可以用来减 本文第一节描述了重复数据删除技术的基本概 少网络中传输的数据量，从而缓解数据量的井喷式 念、分类及关键指标。第二节介绍了重复数据删除 增长给企业带来的高存储容量和高带宽要求。 一般过程。第三节对重复数据删除技术各热点研究 重复数据删除技术应需求而生，并得到了广 问题进行了总结。第四节对本文进行总结，并提出 泛应用。据IDC的统计，在20