基于多种迁移策略元数据驱动数据迁移研究.docVIP

基于多种迁移策略元数据驱动数据迁移研究 　　摘要：该文从迁移策略上介绍了包括历史数据迁移、实时数据迁移、手动数据迁移多种策略。从迁移的形式上介绍了包括了从增量迁移和全量迁移；实际中采用了元数据驱动技术，构建从旧系统到新系统的映射元模型并制定了映射规则；技术上使用了优秀的JavaScript框架――Jquery和SQL语句完成了数据库数据的迁移。目前该系统已在数据中心建设中得到应用。 　　关键词：历史数据迁移；实时数据迁移；元数据驱动技术；映射元模型； 增量迁移；全量迁移 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）08-0251-03 　　Abstract： This paper describes the migration strategy， including historical data on migration， real-time data migration， data migration manually variety of strategies. From the migration way ，Introduced Incremental migration and Full amount of migration， Realization of using metadata driven technology； From implementation using metadata driven technology， building a mapping meta-model from the old system to the new system and developed mapping rules； From the technology use good JavaScript framework - Jquery and SQL statements to complete the database data migration. Currently the system has been applied in China Petroleum. 　　Key words： historical data migration； real-time data migration； metadata-driven technology； mapping meta-model； incremental migration； full amount of migration 　　1 概述 　　随着目前企业信息化进程的加速，企业数据中心的建设日益重要。很多企业的应用系统已经运行数年或者更长的时间，因此积累了大量的数据。如“中石油大庆油田公司A2施工总结数据”。数据迁移是将这些旧应用系统的数据迁移到新系统中，而有些旧系统还会继续运行，还会产生新的数据，根据实际情况迫切需要找到将历史数据实时合理地迁移到新系统中去的一种新方法. 　　2 介绍传统数据的迁移方法 　　四种传统的迁移方法有：先迁后录[1]、先录后迁、分次迁、一次性迁。 　　先迁后录是指：在系统单轨运行前通过市场用的迁移工具或自行开发的程序，将老系统数据转入到新系统模型中，再利用新系统功能，也可自行开发配套程序，把迁移到新系统中的老数据，再根据需要生成原有的结果数据。这种方法大大减少迁移量。 　　先录后迁是指：在系统单轨前，首先把部分数据输到新系统中，系统单轨时再把以前的老数据导入新系统数据库中。这种方法主要适用于新老系统数据结构差别很大情况，不能将重要的历史数据导入到新系统中。这些必须的重要数据在应用新系统前通过手工录入到新系统中。 　　分次迁移是指：利用市场用的迁移工具或自行开发的程序，把老数据库中的重要的历史数据分几次做迁移。这种方法把大任务分成小任务，避免了数据量大和宕机时间短之间的相矛盾的发生。这种方法的缺点是：由于数据多次合并导致了出错的概率升高，同时为了保持整体数据的一致性，这种方法要求把先导入的数据进行同步，由此使导入数据的难度增加。 　　一次迁移是指：利用市场用的迁移工具或自行开发的程序，把老数据库中的数据通过这种方法一次性全部导入到新数据库中。这种方法的优点是：过程用时短，与分次迁移相比较，问题涉及的较少，风险较低，其缺点是：迁移过程不太受控，而且劳动强度大。 　　而这些迁移策略不能够满足用户对于数据及时迁移的需要。因此本文提出了历史数据迁移、实时数据迁移、手动数据迁移多种策略，这些策略满足了数据进入新系统的及时性要求，目前此系统已经在中石油大庆油田井下数据中心中投入使用。 　　3 数据迁移策略框架体系模型设计 　　图1为基于多种迁移策略的迁移体系结构模型。对