基于XML数据迁移技术探究.docVIP

基于XML数据迁移技术探究摘要：针对临盘采油厂的数据迁移的具体需求，该文提出了一种基于XML的数据迁移模型，以实现数据的提取、转换、写入等功能。它采用JAVA和XML技术，具有很好的跨平台、易扩展、复用性等，能很好的解决异构数据库间数据迁移的问题。 关键词：数据迁移；XML；异构数据库 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）01-0011-04 临盘采油厂综合信息平台始建于2001年，积累了很多重要的油田数据。随着“数字油田”的发展趋势，临盘采油厂的数据需要迁移到一个统一的源头数据库，这样不仅临盘采油厂可以访问数据库中的信息，其他系统也可以共享其数据，以达到信息统一管理、信息共享的目的。这样能很好的解决了“信息孤岛”的现象。针对上述问题，结合现有的数据迁移转换技术，设计一个数据迁移转换接口是十分必要的。它将实现将来源离散且格式多样的临盘采油厂数据进行处理后，再将这些标准化数据迁移到源头数据库中，为临盘采油厂和其他管理部门提供标准统一的数据信息，实现数据的共享。 1 数据迁移相关技术及解决思路 1.1常用的数据迁移技术 数据迁移是指将源数据库中指定表的数据进行清洗、转换并装载到目的数据库指定表中的过程[1]。数据迁移可以分为抽取、转换、装载三个步骤。数据抽取是根据实际应用，对旧系统的底层数据进行筛选，选择出需要的待迁移数据。转换是根据新旧数据库的映射关系进行的，首先比较新旧系统中字段数据类型的差异和联系，找出适当的对应关系，然后进行相应的转换。数据装载是通过数据迁移工具或事先编写的SQL程序将抽取、转换后的数据写入到目标数据库对应的表中。数据迁移的基本流程如图1所示。 常用的几种数据迁移的实现方法有以下几种[2]： 1.1.1 数据库厂商的专业工具 当前很多数据库厂家都提供专门的数据迁移工具，常见的有Informix的Infomover、Microsoft SQL Server的DTS和Oracle的Oracle Warehouse Builder等。国内的主流数据库厂商如DM、King Base、GBase等也都有着自己的数据库迁移工具。 1.1.2 利用前台开发工具 PowerBuilder 是广泛用于数据库前台开发的软件，它对不同数据库采用不同接口（ODBC 或专用接口），可以支持多种关系数据库。 1.1.3 利用数据库组件转换 利用. net 数据库应用程序开发技术实现源数据库向目标数据库的直接转换。这个过程中使用了ADO. NET提供的两个核心组件：DataSet 和DataProvider。DataSet 组件的设计实现了独立于任何数据源的数据访问， DataProvider 组件的设计实现了对数据库的连接、操作、读取的访问。 1.1.4 基于中间件的解决方法 顾名思义，这种方法就是在源数据库和目标数据库间建立一个中间层。将用户对不同数据库的操作变为对单一中间件的操作，然后经过中间件的处理实现数据迁移处理。基于中间件的解决方案有以下优点： （1）易于移植和集成。中间件将各种与平台相关的细节进行了封装，即使变更操作系统或通信协议等底层配置，也不用改变应用程序代码。 （2）易于扩充。中间件若有局部变动和整体升级，只要对外的接口保持不变，就不会影响系统其它部分的正常运行，从功能上对应用程序实现了透明。 （3）访问透明、使用简单。中间件封装了底层的具体实现细节，对各种数据源使用统一的方法访问，这对用户来说是透明的。 1.2 XML及JAVA技术 XML（Extensible Markup Language，可扩展标记语言）以一种自我描述的方式进行数据结构定义，在描述数据内容的同时也突出了对结构的描述，从而体现出数据之间的关系。XML的优点很多，如高可扩展性、平台无关性、自描述性等等。XML技术的发展非常迅速，在许多领域都得到广泛的应用。 JAVA是面向对象型语言，它继承了C++语言面向对象技术的核心，它集成了其它一些语言的特点和优势，又避开了它们的不足之处。Java中常用连接数据库的技术是JDBC，很多数据库都带有JDBC驱动程序[3]。SUN公司还开发了JDBC-ODBC桥，用此技术可以实现对带有ODBC驱动程序的数据库的访问。 Java和XML有许多相似的特性，比如平台无关性、可扩展性、可重用性等，因此它与XML结合起来，是实现中间件的一个很好的方式。 1.3 数据迁移接口思路 现今临盘采油厂数据库中的数据需要迁移到统一的源头数据库中，但新旧数据库系统存在一定的差异，如数据库系统的差异、数据表结构的差异、数据类型的差异等。如何解决这些问题