异构数据迁移方法研究.docVIP

异构数据迁移方法研究 　　摘要：企业的信息管理系统更新时，经常会遇到不同数据库系统之间的数据互访和转换的问题，这种异构数据库数据转换和迁移的问题已经成为数据库技术领域重要的研究课题之一。该文根据数据存储特点，讨论了数据迁移的内容和实现方法，并给出迁移质量分析方法，为数据迁移的开发与研究提供指导。 　　关键词：数据迁移；异构数据；数据转换 　　中图分类号：TP319 文献标识码：A 文章编号：1009-3044（2013）23-5217-02 　　在商机瞬息万变的今天，企业的信息管理系统不断的更新换代，随之而来的就是原有系统遗留数据的问题。所谓信息系统的核心是数据而非系统，原有系统遗留的数据无疑是商业应用中最为重要的部分，所以系统迁移的重中之重必然是数据的迁移。数据迁移的成功与否对于系统的升级以及新系统能够发挥所希望的功效具有重要的意义。数据迁移后在新系统的可用性、有效性对于新系统的成败也具有十分重要的作用。文中介绍了数据迁移的基本特点、内容、实现方法，以及迁移后的质量分析。 　　1 数据迁移中数据的特点 　　信息系统在新旧系统进行替换时，数据迁移就是将原有系统的遗留数据通过一次或者多次的转换，导入新的系统中，其特点就是需要在有限的时间内对海量的数据进行抽取、分拆、重组、装载这四个基本步骤。 　　数据迁移的数据内容是数据迁移的重点，它可能包含文字、图片、视频和语音等不同形式的内容，对这些数据进行迁移时需要对它们进行有效的划分才能更有效率的迁移数据。这里有两种划分方法： 　　1）以数据信息的发布时间为轴的横向划分。其关键点是由于新系统包含旧系统的所有数据，所以新系统需要更大的存储空间，但是过大的存储空间也会带来由于数据量的飞速增加而出现的服务器性能的瓶颈问题。一般来讲解决的办法是将一定周期的数据定义为周期内数据，而超过该周期的数据全部导入到数据仓库或者数据集市中，从而能够进行BI（Bussiness Intelligent商业智能分析）。所以在横向划分中需要考虑的是周期的定义问题，定义多久为信息的可用存储周期是数据迁移时候需要考虑的一个关键问题。 　　2）对于数据的产生功能模块进行划分的纵向划分。在处理遗留系统的数据时有些数据是新系统中并不需要的，所以无法对新旧数据库进行有效的映射，因此不需要迁移到新的系统中。但是也存在一些旧系统中不存在但是新系统中存在的数据，需要考虑旧系统中空白的值需要怎样的方法进行获取。并且，对于一些功能模块耦合度高，冗余度高的系统纵向划分很有可能破坏数据的完整性。 　　2 数据迁移的内容和实现 　　数据迁移的主要内容包括原始数据库中的：首先是原始数据库的环境信息，包括服务器名、数据库名、用户名、密码等；其次有数据库的表定义的基本信息，包括表名、表的主从数据行、表的各种模式以及类型等；接着是列信息以及键值信息，包括列名、类型、长度、是否为空、主键名、外键名、外键关联列，以上信息用于数据库中表的逻辑和物理构成的转换创建以及关联映射。有了上述数据才能够根据需求进行异构数据库间的数据格式以及类型的转换。 　　在系统的移植过程中数据迁移包含如下几项重点的活动：首先针对原有系统的数据字典分析以及数据质量分析的两项任务；其次对于新开发系统也需要进行数据字典分析和数据质量分析两项基本任务；接着需要在新旧两个系统的数据之间找到二者之间的差异和共同点，建立两者的关联映射关系以便进行数据的迁移；然后进行数据移植开发程序或使用工具的部署工作，并确立在转换过程中抛出异常的应急方案等；最后在数据成功迁移后对数据的有效性和系统的稳定性进行的验证以及测试工作。 　　大体的说来数据迁移尤其是数据库系统的迁移工作可以根据实施的先后顺序分为以下三个阶段： 　　1）数据迁移之前所进行的准备活动阶段。这个阶段需要做到全面而周全的分析工作，只有如此才能够保证后边数据迁移的两个阶段能够顺利进行。这个阶段需要进行的工作首先需要对原有数据库的数据的组织结构进行分析，对原有数据字典进行理解，同时需要分析已存在的数据的质量。当然具体到信息系统的迁移上，首先需要对原有信息系统所收集数据的数据量、数据集中数据的时间跨度、两个系统的数据字典的异同和相同点、数据在存储方式上的差异如：分布式数据库等进行分析。其次要进行的工作就是对新旧系统中数据差异点制定处理方案，如：不能建立新旧系统数据映射的数据需要当做如何的处理等。最后是在新系统的部署方案、部署之后的测试程序的编写以及当出现不可估量错误的时候的应急恢复方案等都需要在这里做好处理预案 　　2）数据迁移工作的进行阶段。这个阶段需要做的是使用前一个阶段制定的方案进行实施。按照既定方案部署数据迁移程序，配置迁移环境，转换并抽取数据，然后倒入目的数据库。这个阶段也是决定数据迁移成功与否的重要阶段。