基于网络流量数据的对象存储.docxVIP

基于网络流量数据的对象存储

1年全球数据及存储情况

随着互联网和web2的快速发展，web应用程序创建了数百亿个小文件，并上传了大量的照片、视频和音乐。每天发送数十亿条信息，每天发送数千亿美元的电子邮件。据IDC统计,未来10年间数据将增长44倍,2020年全球数据将增加到35ZByte,其中80%是非结构化数据,且大部分是非活跃数据。

面对如此庞大的数据量,仅具备PB级扩展能力的块存储和文件存储显得无能为力,通常块存储的一个LUN容量仅数TB。单个文件系统在最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构存储系统,这样的存储系统需要具备极高的可扩展性,能够满足人们对存储容量TB到EB规模的扩展需求。

2美国cs注:：cs

2002年安然、世界通信等事件的接连爆发导致萨班斯法案推出,对象存储被用于政府法规,要求数据长期保存金融服务、健康医疗等行业的数据归档场景,对象存储由此具备备份归档的基因。

2006年Amazon发布AWS(注:Amazon的主营业务是B2C电子商务,其用户流量分布不均匀,某些特定的时段(比如圣诞节),流量急剧攀升,亚马逊在IT资源的投资非常尴尬——花大价钱购置的服务器、存储、带宽只是为了应对突发的高峰流量,而在其他大部分时间,这些资源的利用率不到一半,在这种情况下,Amazon通过AWS服务Amazon把平时闲置的IT资源出租给其他用户使用)。S3服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。AmazonS3成功为对象存储注入云服务基因。

3对象存储支持更广泛的生成

对象存储是一种基于对象的存储设备,具备智能、自我管理能力,通过Web服务协议(如REST、SOAP)实现对象的读写和存储资源的访问。

对象存储系统包含两种数据描述:容器和对象。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据,用户、应用通过接入码认证后,只需要根据ID就可以访问容器、对象及相关的数据、元数据和对象属性。

对象存储对外提供更抽象的对象接口,而不是SCSI或文件接口,与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512Byte~4kByte)不同,对象存储IO粒度更有弹性,支持几个字节到数万亿字节任意对象大小,使得业务可根据需要灵活分割数据。

对象存储以对象ID为基础,扁平化管理所有对象和桶,根据对象ID便可直接访问数据,解决NAS复杂的目录树结构在海量数据情况下数据查找耗时长的问题,这使得对象存储具备极强的扩展性,能够轻松实现单一名字空间内支持百亿级文件的存储。

在重复数据删除、绿色节能等特性的基础上,为了更好地满足海量数据存储和公众云服务需求,对象存储系统还包括如下一些关键特性。

(1)生成对象存储

扁平化的数据结构允许对象存储容量从TB级扩展到EB级,管理数十个到百亿个存储对象,支持从数字节到数万亿字节范围内的任意大小对象,解决文件系统复杂的iNode机制带来的扩展性瓶颈,并使得对象存储无需像SAN存储那样管理数量庞大的逻辑单元号。对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间,这使得对象存储非常适用于在云计算环境中使用。某些对象存储系统还可支持升级、扩容过程中业务零中断。

(2)储支持的业务策略

云环境中的数据往往是动态、快速增长的,所以基于策略的自动化将变得非常重要。对象存储支持从应用角度,基于业务需求设置对象、容器的属性(元数据)策略,如数据保护级别、保留期限、合规状况、远程复制的份数等。这使得对象存储具备云自服务特征的同时,有效降低运维管理成本,使得客户的存储容量从TB增长到ZB时,运维管理成本不会随之飙升。

(3)用户存储策略

多租户特性可以使用同一种架构、同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略,确保这些数据之间相互隔离。

(4)数据的完整性和安全性

对象存储系统一般通过连续后台数据扫描、数据完整性校验、自动化对象修复等技术,新型的技术应用大大提高数据的完整性和安全性。某些对象存储产品还引入一些先进的算法(如擦除码)和技术,将数据切分为多个分片,然后将这些分片存储到不同的设备和站点,在确保数据完整性的同时获取最高的存储利用率。

4对象存储的主要应用程序场景

对象存储系统的出现主要是为了满足数据归档和云服务两大需求,下面对这两种场景进一步细化。

(1)存储资源池和存储设备按需扩展的弹性存储服务

使用对象存储构建类似AmazonS3的存储空间租赁服务,向个人、企业或应用提供按需扩展的弹性存储服务。用户向资源池运营商按需购买存储资源后,通过基于Web协议访问和使用存储资源,无需采购存储设备并进行运维。多租户模型将不同的用户数据隔离开,确保用户的数据安全