网络备系统体系结构设计.docVIP

网络备份系统体系结构设计 2006-6-6  网络备份系统介绍 网络备份系统背景 信息技术的迅猛发展，以计算机和网络技术为主的信息技术已在社会各个领域中得到广泛的应用，而随着近年来网络系统的普及和应用，当前越来越多的企业和单位意识到数据备份和恢复的重要性，为了达到数据的高安全性和高可靠性，许多企业和单位投入了大量的硬件和管理成本。对于大型企业的关键性数据，市场上已存在SAN和NAS等多种解决方案，而对于个人桌面而言却相对空白，研究表明个人机器上的数据往往也是企业数据的重要组成部分，因此如何为个人用户提供高安全性、高可靠性的数据备份系统是企待解决的问题。 目前数据备份有许多解决方法，其中尤以基于网络的异地容灾备份系统备受瞩目。与传统的在线备份系统相比，采用该方法实现的在线备份系统有数据安全性可靠性高，系统运行和维护开销小的优点，具有广阔的市场应用前景。因此本小组设计了面向个人桌面的网络在线备份系统，并对其中设计的诸多问题进行了深入的研究。 网络备份系统概述 网络备份系统是一个可应用在企业内部网或广域网中的面向桌面的在线备份系统。该系统给用户提供功能强大、方便快捷、安全可靠的在线备份服务。下面先介绍一下相关概念。 相关概念： 冗余机制 为了满足用户对备份系统的可靠性和安全性，系统将用户提交的需要备份的文件数据利用转换矩阵进行冗余打散，变成若干个数据块（假设是N块），然后上传。当用户下载备份文件时，将得到的若干个数据块进行组装，恢复成原文件。注意，这里下载的时候，不需要下载全部N块，只需下载任意M块（MN），就可以恢复出原来的数据，这就是冗余所在。当某些机器出现故障的时候，即使得不到全部N块，也能得到完整的数据。这里冗余打散和组装是用的特殊的矩阵变换，在达到可靠性的同时，也满足了安全性。 增量备份 所谓增量备份就是只备份在上一次备份后被增加、改动的部分数据。增量备份可分为多级，每一次增量都源自上一次备份后的改动部分。即当用户反复备份某一大部分内容相同的文件数据的时候，系统只备份在上一次备份后被增加、改动的部分数据。增量备份可分为多级，每一次增量都源自上一次备份后的改动部分。举例如下，某用户做开发工作，昨天将源代码上传备份，今天做了一些工作，又将源代码上传了一次。那么今天只需上传增加改动的部分。新版本的索引信息需要记录哪些是改动的文件，哪些是引用前一个版本的文件。由于不同版本之间拥有公共数据，因此需要一个版本管理机制。 这里再介绍一下引用计数的细节。假设用户昨天上传了一个文件，被冗余打散成4块（A块，B块，C块，D块），那么这4块的引用技术分别为1。今天此用户修改了该文件，又上传备份。当冗余打散候，发现A块，B块，C块不变，而D块改动了，则上传模块将D块命名成E块，只需上传E块。而服务器上A块，B块，C块的引用计数将变成2，而D块的引用计数仍然是1，E块的引用计数则为1。 本项目这个网络备份系统是一个可应用在企业内部网或广域网中的面向桌面的在线备份系统。该系统给用户提供功能强大、方便快捷、安全可靠的在线备份服务。为了达到上述的目标，我们需要解决以下问题： 如何为个人用户提供高安全性、高可靠性的数据备份服务。 如何在保证服务的基础上尽可能的节约存储空间和降低网络带宽消耗。 如何提高系统的存储性能，使得系统提供高性能的存储服务。 如何利用廉价的硬件成本提供好的服务质量，并减少管理和维护开销。 下面我们将针对上述问题提出相应的解决方案： 解决方案： 为了保证数据的高可靠性，我们研究了硬件冗余技术和软件冗余技术相结合的可靠性理论，提出了采用Erasure code分解编码的软件冗余技术与经典的raid硬件冗余相结合的方法，并在两种冗余技术结合的基础上，利用分布式技术，将数据尽可能的分布到不同的服务器上，使得彼此的错误相关性降到最低，从而达到高可靠性的远程数据备份的目的。不仅如此，为了保证数据的安全性，我们研究了数据传输和存储的安全性问题。在数据传输中采用压缩加密技术，避免了传输过程中信息泄漏。在数据存储中是将原文件分解后分片存储，从单一的碎片中不能得到原文件的任何信息，从而保证了数据的安全性。 为了节约存储空间和降低网络带宽消耗，我们对数据增量备份技术以及数据压缩传输技术进行研究。为了满足不同应用的需要，在对数据可靠性和备份速度权衡的基础上，提出了具有不同冗余度的增量备份技术，以提供不同可靠性等级和不同备份速度的服务，满足了各种应用的需要。加之采用经典的压缩算法的数据压缩传输技术，达到了节约存储空间和降低网络带宽消耗的目标。 为了提高系统的存储性能，我们完成了对备份系统中服务器的负载均衡与动态优化问题的研究。在系统中，对于服务使用者来说，数据服务池提供的数据服务是透明的，在数据服务池内部，通过对各个服务器各种静态动态信息的收集，对