一种基于文件系统在线数据迁移技术.docVIP

一种基于文件系统在线数据迁移技术 　　摘 要： 介绍一种基于文件系统过滤驱动的在线数据迁移技术的架构、实现和难点解决方案。 　　关键词： 文件系统；过滤驱动；数据迁移 　　中图分类号：U469 文献标识码：A 文章编号：1671-7597（2012）0720013-02 　　在企事业生产环境中，通常会有设备更替等情况发生，比如，某单位原来购买了低端型号的磁盘阵列，然后经过多年发展，发现原有的磁盘阵列在性能上、规模上已经满足不了业务发展的需要，需要购买高性能的新型阵列，然而这种新型阵列有可能是另外一个存储产商生产的阵列，这就需要在这两种阵列间提供一种数据迁移的能力，把当前的业务数据、应用程序、运行环境从原有阵列迁移到新阵列，而且在进行这种迁移的时候，单位通常希望原有业务系统还能照常对外提供工作，即一边迁移，一边应用照常工作。当然，当前存储产商一般都有自己的解决方案去满足客户的这种需求，通常的做法是在主机端提供软件用操作系统标准接口从原有阵列上读取数据写入新阵列，同时捕获硬盘级别的原阵列I/O写入，复制到新阵列上，但一般说来，这种方案粒度较大，把整个硬盘上的数据都进行迁移，用户没有可定制性，即无法指定什么是真正需要迁移的数据，比如说，用户的系统上D盘安装了微软SQL Server，用户就想只迁移SQL Server数据库本身，而不需要D盘上的其他数据，但通常的方案往往需要把整个D盘上的数据进行迁移，这样不仅迁移时间变长，而且浪费了存储空间。本文介绍一种基于文件系统的数据迁移方案以提供灵活的用户定制性来弥补普通方案的不足。 　　1 架构设计 　　上图简要描述了这种新型数据迁移方案的总体架构，该架构包含两个基本模块，分别位于用户态的控制模块，和位于内核态的数据迁移模块，控制模块用来提交用户的迁移需求，启动数据迁移模块进行数据迁移；数据迁移模块启动文件读取和写入进行真正数据迁移，并且在数据迁移结束后通知控制模块任务完成。具体来说，控制模块实际上是一个用户态进程，通过IOCTL通知内核态迁移模块要进行什么样的数据迁移，用户可以定制他们业务相关的数据迁移，还以微软SQL Server数据库为例???假设用户的数据库文件位于D盘MSSQL目录下，用户可以指定D:\MSSQL\*和F:，告诉内核数据迁移模块D:\MSSQL目录下所有文件需要进行迁移到F盘上的同样目录中；内核态的数据迁移模块是整个方案的重点模块，它本质上是一个文件系统过滤驱动，位于I/O存储栈的真正文件系统的上方，应用程序的文件I/O读写在到达真正文件系统之前先到达文件系统过滤驱动，文件系统过滤驱动做若干处理后下发到真正文件系统，很多功能软件，比如杀毒软件、文件复制软件、透明加密软件都是依靠这种方式实现的。在不同操作系统上，文件系统过滤驱动的实现各不相同，对Linux系统，主要通过HOOK机制在实现，在Windows系统上，微软提供了两种方式，legacy方式和minifilter方式，方便开发人员实现文件过滤；但不管文件系统过滤有多少种实现方式，其功能只有一个，在文件打开、读取、写入、锁定等等常见文件操作的时候能通知到功能软件以实现附加价值。 　　2 基于文件系统在线迁移的核心思路（以用户指定迁移D:\MSSQL\*到F盘为例） 　　1）从用户指定的配置中定位一个源文件，比如微软SQL Server中的数据库文件D:\MSSQL\DB\sqldb.mdf。 　　2）文件复制：打开源文件，通过操作系统ReadFile API读取其中内容，并通过WriteFile API写入F:\MSSQL\DB\s 　　qldb.mdf。 　　3）I/O镜像：注意到在进行文件复制的同时，上层应用（这里是SQL Server）还在继续对外服务，有可能针对源文件（D:\MSSQL\DB\sqldb.mdf）发生数据库读写请求，需要捕获这些写入请求，并把它们镜像到F盘上同样目录的同名文件上。 　　4）当步骤2从头到尾把文件sqldb.mdf复制完了后，可以认为该文件的数据迁移完毕，根据用户的指定，定位下一个文件，开始复制，直至所有文件数据迁移完毕。注意对于所有文件，I/O镜像始终都在工作，以保持数据一致性。 　　5）停止所有文件的I/O镜像；把D盘F盘盘符卸下，把原来的F盘换成盘符D，重新Mount文件系统，启动MS SQL Server，数据迁移完毕。 　　3 基于文件系统在线迁移的难点分析及解决方案 　　在这个方案中，主要有以下几个实现难点： 　　1）整个文件独占访问模式，比如MS SQL Server在访问数据库文件的时候，一定会将这个文件置上排他标志，以防止其他程序打开。 　　2）文件的一部分被锁定，也是一种文件独占访问模式。 　　3）I/O镜像时，需要截获文件写入请求。 　　4）文件复制