浅谈数据存储与安全.docxVIP

浅谈数据存储与安全

1数据安全问题

随着计算机技术的发展，人们的计算机科学水平得到了前所未有的提高。在当今时代,新闻、多媒体、航天技术、生物技术、电子图书馆、电子商务等大量数据业务的涌现,对计算机存储及信息的安全提出了严峻的考验。有数据表明,现在每年产生的数据量相当于之前所有年代的数据量之和。另外黑客、病毒等因素还时时威胁着数据的安全,所以如何合理地存储数据,以及数据的安全显得尤为重要。

然而存储技术的发展却没能完全跟上时代的步伐,虽然现在云存储被炒得很火,但真正成熟的解决方案却很少,在企业的存储上,重要的数据还是依靠昂贵的磁阵来存储。在数据备份方面还是一直采用数据复制、备份、恢复等技术来保护数据的安全,定期对数据进行备份和复制。由于备份过程会影响性能,并且非常耗时,一般会选择在系统较轻松的夜间进行。

显然,这种数据存储方式存在非常严重的不足。在备份期间,企业需要暂停对外的服务,随着业务的发展,这个时间可能会越来越长。但现在许多应用,如银行、网上支付等,都要求24小时不间断营业,短暂的间断可能会带来巨大的损失。另外,传统的数据分享方式带来了巨大的存储浪费,例如同样一份数据,每个用户都会备份一份。而快照技术则可以弥补这些不足,因此处在不断的发展之中。

2目前的主要技术

(1)录像备份热备份

顾名思义,镜像分享需要一个完整的物理镜像,同一份数据需写在两个设备上。当需要创建快照时,停止镜像卷的写操作,镜像被保存为一个快照。当需要新的快照时,需要重新准备一个物理卷,并与源数据进行数据同步。

优点:有完整的物理备份,安全;窗口时间小,基本不会影响使用。

缺点:每个备份都需要完整的物理设备,成本高;需要完整的数据同步后才能创建快照,不够灵活。

(2)投资后的数据修改

写时复制在创建快照的时候,并不会发生真实的数据拷贝,而仅仅是复制当前卷的元数据,因为元数据非常小,所以整个过程几乎在一瞬间完成。当原始卷有数据修改时,首先将这块数据读出来,写入给快照预留的空间,然后再将新的数据写入原始卷。因为在写数据时才会对数据进行备份,因而得名。

优点:创建快照快,不需要完整的物理设备,成本小。

指针重映射与写时复制基本类似,创建快照时也不会发生数据拷贝。区别在于当发生数据改变时,系统直接将新的数据写入新分配的空间,并将数据的指针指向新分配的区域。而原来的数据空间作为快照空间被保存下来。与写时复制相比,指针重映射加快了写操作,每次写少了一次IO操作。

(4)抗故障志恢复

日志文件是指对文件系统的每一次写操作都写上日志,当系统出现故障时,可以通过日志来恢复信息。这种技术主要用于ext3等本地文件系统中,有时也用于分布式系统的主备同步机制上。

(5)创建和复制数据

克隆快照可以理解为镜像分享和写时复制的结合。首先利用写时复制创建一个快照,然后在后台启动一个进程,将快照复制到一个独立的设备,以保证数据的安全。

3数据安全不同

前面讲了很多的快照技术,各有其优缺点。这里介绍的快照技术与写时复制比较相似,但使用上更灵活,能适用于很多场景。

在大多数企业,都会有一个知识库,所有的人都可以从上面取资料,但是不能修改,如果要修改必须重新拷贝一份至本地。但大多数人都有一个习惯,即使不修改,也会拷贝一份至本地磁盘,以便随时查看。这样,一份文档可能在公司里存在几千甚至几万份,公司给员工都配备了大容量的硬盘,结果还是不够用,那么有没有办法能够将这些数据只保存一份而又能满足随时修改的需求呢?

再来看另外一个场景,公司每个人的电脑都要装操作系统,而对于操作系统里面的文件,大部分都是用不着修改的。以Windows7为例计算,假设一个系统占据10G,一个公司共有1000名员工,那么仅系统占的空间就是10T,有什么办法能节省空间呢?

3.1单元的容量设计

快照的核心是卷的管理,所有的快照都是基于卷来创建的。这里讲的卷与传统意义上的卷是有区别的:卷既可以是单机的,也可以是分布式的;卷是写时分配的,即在创建卷时是不会分配任何空间的,只有在真正写数据时才会分配空间。

假设有一个存储单元,其容量是1T,需要在上面创建一个10G的卷,将块大小设置为512k,那么得到的是一个如图1所示的卷:

块的大小可以根据业务的需要而定,对于存储大文件的系统,可以将块尽量设的大一点。例如HDFS默认的块大小是64M,如果是存储小文件,可以考虑将块设小一点。一般情况下推荐用512k或1M。当然也可以用一些合并技术来解决数据冗余的问题。

写时分配也是一个很重要的概念,业界很多系统都使用了这个技术,例如前段时间打得火热的网盘