宏杉科技CRAID3.0技术白皮书.docxVIP

CRAID3.0技术白皮书CRAID3.0技术概述RAID技术发展RAID（Redundant Array of Independent Disk，独立冗余硬盘阵列）技术于1988年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Inexpensive Disks”中提出，其基本原理是由多个独立的高性能硬盘驱动器组成的硬盘子系统，从而提供比单个硬盘更高的存储性能和数据冗余的技术。 作为一种成熟、可靠的硬盘系统数据保护标准，RAID技术自诞生以来一直作为存储系统的基础技术而存在，但是近年整个社会信息化水平不断提高，数据呈现爆炸式增长趋势，数据取代计算成为信息计算的中心。这促使人们对数据愈加重视，不断追求海量存储容量、高性能、高安全性、高可用性、可扩展性、可管理性等等，传统RAID逐渐暴露出越来越多的问题。 根据IDC的数据，全球的数据产生量仅在2011年就达到1.8ZB（或1.8万亿GB），预计到2020年全球数据总量将增长50倍。为了满足数据增长的需求，硬盘设备制造商不断地提升技术来增加硬盘单位存储密度，如今，4TB的高容量硬盘企业和消费市场已经非常普遍。当这些高容量硬盘由于出现硬盘故障而需要进行数据重构时，传统RAID会有哪些缺点？ 硬盘故障导致数据丢失时，RAID组通过异或算法，通过校验数据和其他数据盘数据得到丢失的数据为数据重构。在这里以7.2K RPM 4TB硬盘为例，在传统的RAID5（8D+1P）中，其重构时间在40个小时左右（无流量压力情况下）。重构的进程会占用系统的资源，导致应用系统整体性能下降，当用户为了保证应用的及时响应而限制重构的优先级时，重构的时间还将进一步延长。此外，在漫长的数据重构过程中，繁重的读写操作可能引起RAID组中其他硬盘也出现故障或错误，导致故障概率大幅提升，极大地增加数据丢失的风险。 另一方面，传统RAID受限于硬盘数量，在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求，同时数据重构时影响数据的读写性能，那么怎么来提供数据的读写性能呢？针对传统RAID的以上问题，宏杉科技提出了全新的CRAID算法。 CRAID3.0技术概述CRAID技术是宏杉科技针对传统RAID的缺陷，在传统RAID技术之上的革新。CRAID1.0提升了故障硬盘的重建效率；CRAID2.0允许RAID组中任意坏三块盘，数据不丢失；CRAID3.0提升了数据读写性能和重建时间。CRAID1.0技术，主要是将组建好的RAID组分割为数千甚至上万个小单元进行精细化管理（也即是Cell），提升了故障硬盘的重建效率，提高了系统可靠性。在此基础上，宏杉科技又推出了CRAID2.0技术，采用全新的RAID算法和三重校验机制，可以在一个RAID组中任意坏三块盘的情况下保证数据的不丢失，业务不中断。2015年，宏杉科技又独具匠心在CRAID1.0和CRAID2.0的基础上，推出了最新的RAID概念——CRAID3.0技术。将CRAID1.0和CRAID2.0一层虚拟化管理的模式变为两层虚拟化管理模式，在具备前二种CRAID技术优势的前提下，以数据块为单元管理数据，提升数据读写性能和重建时间。图1 CRAID 3.0二、CRAID 3.0原理2.1 CRAID3.0基本原理宏杉科技CRAID3.0采用底层硬盘管理和上层资源管理两层虚拟化进行管理的模式，每个硬盘空间被划分成一个个小粒度的数据块，在这些数据块的基础上来构建RAID组，使得数据均匀地分布到存储池的所有硬盘上，同时，以数据块为单元来进行资源管理，大大提高了资源管理的效率。 1) 每个硬盘被切分成固定大小的数据块（Chunk，也叫CK），每个Chunk为如：64MB等大小。存储系统将不同硬盘的Chunk（CK）按照RAID算法组成Chunk Group（DCG）； 图2 Chunk和DCG2）DCG被划分为固定大小的存储单元Cell，每个Cell的大小为如：1GB等，Cell是构成LUN的基本单位。一个存储池基于指定的一个硬盘域创建，可以从该硬盘域上动态的分配Chunk（CK）资源，并按照每个存储层的“RAID策略”组成DCG向应用提供具有RAID保护的存储资源。图3 CRAID 3.0技术原理图3）支持RAID 0、1、3、5、6等RAID级别，但是必须是相同的RAID建立一个存储池。2.2 CRAID 3.0实现框架CRAID 3.0的实现框架如下图所示：存储系统层由同一类型硬盘组成，不同层级支持不同类型的硬盘：构成高性能层的SSD硬盘，构成性能层的SAS硬盘和构成容量层的SATA硬盘。各存储层的硬盘被划分为如：64MB大小的Chunk。 每一个存储层的Chunk按照用户设置的“