在网络存储环境下的重复数据删除技术.pdfVIP

在网络存储环境下的重复数据删除技术 硅谷动力 【转载】 重复数据删除技术(De-Dupe)可透过重复删除运算，去除数据冗余，大幅缩减占用的存 储空间。然而重复删除运算相当消耗运算资源，对存取能效会造成相当程度冲击，要应用在 对存取能效较敏感的网络存储设备上，将会面临许多困难。 自问世以来，重复数据删除技术一直被定位于备份应用，整合在备份软件、虚拟磁带库、 磁盘到磁盘(D2D)备份存储装置等设备中使用。 相较于网络存储设备，作为备份装置使用的近线(Near-Line)存储设备可容许较大的存 取延迟，对吞吐量要求也较低，因而能容忍重复删除运算所造成的能效冲击，可充分利用其 缩减备份数据容量的特点，让使用磁盘存储设备长期保存备份数据成为可能，从而减少对于 磁带的依赖。 但面对企业数据量不断增长，以及虚拟化应用普及后所带来的数据处理问题，一些厂商 试图将 De-Dupe 技术应用到网络存储设备上。 成型的网络重复数据删除技术 相较于已十分普遍的备份型 De-Dupe 技术，线上型 De-Dupe 技术目前仍在初期发展 阶段，提供的厂商十分有限。 网络存储的特性，影响了重复数据删除的应用 相比于居于第二线的备份设备，网络存储设备有许多不同的特性，连带地，De-Dupe 技术也面临不同的要求： 对能效更敏感 将数据以重复删除运算分解为基本元素与索引存储，以及反向运作将经过重复删除运算 后的数据回复为原始状态，以便供前端主机存取，都需要消耗运算资源。 网络存储设备必须因应前端主机即时写入与读取数据的要求，对能效十分敏感，不能允 许因执行 De-Dupe 与还原运算，而导致前端主机的存取出现延迟。 重复删除率先天较低 许多备份型 De-Dupe 技术宣称的 20~30 倍，甚至是 50 倍以上的空间节省比率，都 是以“每天执行全备份”为基准。 一般情况下，企业数据的异动量通常有限，每天新增或异动部份，占总数据量的比率并 不大，因此若每天都执行全备份，则两次全备份之间，绝大部分的数据显然都是重复的。在 这个基础上运用 De-Dupe,得到几十倍的空间节省效果是理所当然的。 但换成网络存储环境，就没有前述那种数据先天就带有很高重复性的现象，能缩减的比 率十分有限。 网络存储直接处理原始数据 备份装置存放的数据是原始数据的复本，只有需要还原时才派得上用场;网络存储装置 存放的，则是必须随时因应前端主机存取的原始数据。因此整合在网络存储设备中的 De-Dupe 技术，对重复删减运算法的可靠性与可用性，将有更高要求。 需与其他存储功能整合 许多进阶存储功能，都是基于网络存储设备的原始磁盘进行，如快照、Clone、远端复 制等，因而在线上磁盘运作的 De-Dupe,也必须整合这些应用功能，不能因启用 De-Dupe 而妨碍其他功能执行。 NetApp NetApp在2007 年推出的A-SIS ，就是一种可应用在网络存储设备的De-Dupe技术。 A-SIS 可搭配 NetApp 的 NearStore R200、FAS 与V 系列存储设备使用，只要存储设 备的 Data ONTAP 操作系统版本是在7.2.5.1 以上，并启用A-SIS 与 NearStore 授权即可。 A-SIS 属于后处理(post-processing)类型 De-Dupe 技术，待数据写入 Volume 后， 再按照排程设定或以 CLI 或 GUI 介面手动启动执行，执行重复删除运算时以固定的 4KB 区 块为单位(也就是 WAFL 档案系统的区块单位)。 A-SIS 重复删除运算并非在存取时即时进行，因而能避开影响前端主机存取的问题，可 在离峰时间再执行重复删除;而且在 NetApp 存储设备的WAFL 档案系统管理下，A-SIS 处 理后的数据仍可直接读取与写入，不像其他厂商 De-Dupe 后的数据必须先还原成原始状态， 才能进行存取。缺点则是只能应用在 FlexVol 型的 Volume,不能用在传统 Volume,且重复 比对也仅限于该Volume。 Dell Ocarina Dell 在 2010 年 7 月藉由并购新创厂商 Ocarina,取得了后者的内容感知存储最佳化技 术(Content-Aware Storage Optimization) ，除获得Ocar