基于云存储的重复数据删除架构的研究与设计①.pdfVIP

计 算 机 系 统 应 用 2013 年 第 22 卷 第 1 期 基于云存储的重复数据删除架构的研究与设计① 宋 雨, 易 璐, 王凤霞 (华北电力大学 控制与计算机工程学院, 保定 071003) 摘 要: 随着云计算的发展, 云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种 不同类型的存储设备集合起来协同工作, 缓解了老式数据中心的存储压力. 另外, 重复数据删除技术是一种缩减 存储空间减少网络传输量的技术, 随着云的广泛应用也势必会发展应用于云存储中. 这两种技术结合将会给 IT 存储业带来实际效益. 本文通过研究重复数据删除技术、云存储技术, 设计了基于云存储的重复数据删除架构, 提出了一种用 In-line 方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方 案. 在本架构下, 海量数据存储在 HDFS 中; 而文件数据块的哈希值存储在 HBase 中. 关键词: 重复数据删除技术; 云存储; hash 值; HDFS; HBase Research and Design of Data De-duplication Architecture Based on Cloud Storage SONG Yu, YI Lu, WANG Feng-Xia (School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China) Abstract: With the development of cloud computing, the cloud storage technology gets a large variety of different types of network storage devices together to work collaboratively by clustering applications, virtualization, Distributed File System, alleviating the pressure of old data center storage. Besides, Data De-duplication is a technology that reduces storage space and lowers the network transmission. And it is going to be adaptable for cloud storage system one day. The combination of these two technologies will bring real benefits to IT storage industry. The paper has designed a de-duplication architecture based on cloud storage, proposed a scheme which runs at the client with In-line manner to eliminate duplicated data in chunk level, and then put those data into cloud. Under this architecture, HDFS stores the mass data while HBase stores hash value of data block. Key words: data de-duplication technology; cloud storage; hash value; HDFS; HBase 随着各行各业信息化的要求越来越高, 需要存储 种技术的优势发挥得淋漓尽致, 既能将海量数据存储 的数据量越来越庞大, 然而, 已经存储的数据中有相 在