基于XML和中间件数据迁移模型研究与设计.docVIP

基于XML和中间件数据迁移模型研究与设计 　　摘 要：针对系统升级过程中的数据迁移问题，提出了一种基于XML和中间件技术的异构数据库数据迁移的模型。模型包括数据的提取、转换、校验、写入等功能，具有跨平台性、易扩展性、复用性等特点，可有效解决异构数据库间数据迁移问题。 　　关键词：数据迁移;XML;中间件;异构数据库 　　0 引言 　　 目前许多数据库厂商都提供数据迁移的ETL工具，但这些ETL工具在使用时都存在一定局限性，无法脱离数据库产品的前端程序而单独运行，而且迁移过程中手工参与过多，导致出错率较高。因此，我们需要一个针对异构数据库间数据迁移的跨平台、通用的ETL工具。 　　 1 数据迁移面临的主要问题 　　 1.1 数据的异构 　　 异构数据库系统间的异构性体现在3个方面：①同一词义在不同数据库中表示不一致；②不同的数据库系统；③不同的操作系统。如何有效屏蔽源数据库间的异构问题是完成异构数据转换的首要问题。 　　 1.2 选择数据转换方法 　　 在数据迁移过程中，异构数据库间的数据转换，成为数据迁移建模的关键。解决该问题应当从数据的抽取、格式转换等方面入手。 　　 1.3 确定数据迁移策略 　　 数据迁移的策略包括先录后迁、先迁后补、一次或分次迁移。数据迁移策略的选择主要考虑的是迁移过程中的数据量大小、系统切换时间的长短、新系统所需数据的完整性等几个因素。 　　 1.4 制定业务转换规则 　　 1.4.1 基本信息的统一 　　 原应用系统由一个或多个不同数据库组成，转到新系统后要求体质信息的一致性，所以首先要保证基本信息的统一。 　　 1.4.2 业务数据的统一 　　 原有应用系统的业务数据合并后要求基本信息与业务信息相对应，能够定位到所有相关业务的数据。这就要求对原数据进行合并时产生统一的主键来实现，并适当保留各应用系统的原有主键，并且应能分辨出数据所属子系统。 　　 1.5 数据抽取 　　 在异构数据库的数据迁移过程中，数据的抽取是跨平台的，提供数据抽取的接口能与各种关系数据库兼容，如SQL Server、Oracle等。所以，使用的数据抽取技术必须与平台无关。 　　 1.6 实时数据处理 　　 在进行数据迁移时，新系统还没有正常工作，必须保持原应用系统的正常运行，原应用系统会不间断产生新的业务数据，所以必须要分时段进行数据的提取、清理、整理、整合等迁移工作，产生与已迁移数据对应的关系。 　　 2 异构数据库数据迁移的模型设计 　　 在通过中间件技术可以屏蔽底层操作系统的复杂度、简化程序设计的同时，也提供了更高层次的应用程序编程接口。使用XML定义数据传输的格式，可实现数据的标准化。由此本文提出了一种基于XML和中间件，实现异构数据库间数据迁移的模型，如图1所示。 　　 该模型主要使用了4种关键技术： 　　 （1）使用了XML作为信息交互的标准。现在很多系统在数据集成的互操作过程中，都使用XML作为数据传输的统一格式，该方法主要依靠SAX和DOM来提供应用编程接口，依靠Schema和DTD对数据格式进行描述，依靠XSL和XSLT技术来解决数据间的转换问题，提高数据转换效率。利用XML的跨平台性，创建XML格式与底层异构数据格式之间的映射关系，并依靠相关的XML技术实现源数据库至XML文档以及XML文档至目标数据库数据之间的数据转换。 　　 　　 　　 　　 （2）使用了中间件作为数据迁移的主体。在客户端和服务器端之间增加了具有数据库/数据库查询代理、事务处理逻辑应用服务等功能的组件。在C/S结构里中间件充当了中间层，保证了数据传输的完整性和安全性，减轻了客户端和服务器端的负载，同时也解决了传输不可靠、跨平台等问题。 　　 （3）使用ODBC建立与数据源的连接。目前大多数的数据库管理系统，如FoxPro、SQL Server和Oracle等，都提供了相应的ODBC驱动程序，使数据库系统具有良好的开放性，因此模型可以应用到与ODBC兼容的所有关系数据库中进行数据交换。 　　 （4）使用了信号接收检测机制。中间件在接收到数据迁移的信号后开始数据迁移，所以模型中可使用一次迁移或分次迁移的策略，使本模型得到更加广泛的应用。 　　 2.1 模型总体功能 　　 基于XML和中间件技术的异构数据库数据迁移模型是对一个或多个源数据库中的数据进行提取、转换后迁移至目标数据库的模型。原有的各个源数据库之间相互独立、接口各异，且数据格式不同。这些异构数据库通过中间件连接起来，组成一个有机整体。通过XML作为统一的数据格式实现数据的交换和资源的共享。本模型中使用的数据迁移策略既适用一次迁移又适用分次迁移，从而满足实际应用中各种迁移的需要。迁移过程中，新系统数据库发出迁移信号，中