基于元模型的通用数据抽取技术实现.pdfVIP

电脑编程技巧与维护 基于元模型的通用数据抽取技术实现 王向辉 (东方地球物理公司物探技术研究中心，涿州 072750) 摘 要：在数据迁移领域中，数据的抽取是至关重要的组成部分，本文从实际出发，提 出了一种基于元模型的数据 抽取方法，实现了数据抽取与业务模型在操作层面的分离，解决了因模型变化而导致的数据迁移策略的变化，实现 了通用性 。 关键词 ：数据迁移 ；元模型 ElementM odelbasedon GeneralDataExtractionTechnology W ANG Xianghui (BGPGeophysicalResearchCentcn．‘／；huozhou072750) Abstract：Inthefieldofdatamigration，dataextractionisessentialpartoftherealityofthispaper，weproposeamodel basedon metadataextraction methodstoachievethebusinessmodelofdataextractionandseparationattheoperational level，tosolveforModelchangesduetochangesindatamigrationstrategytoachieveuniversa1． Keywords：DataTransfer；MetaDataModel l 引言 表DBA_Tables等可以生成一套完整的元模型。 数据迁移是一项复杂、繁琐的工作 ，也是一件很有意义 通过元模型，能够完整地实现业务数据 以及上游下游相 的事情。数据迁移大致可以分为抽取、转换、装载 3个步骤。 关数据的访问，但是这种方式在编程实现以及维护上还存在 数据抽取是根据实际需求对旧系统中的数据进行筛选 ，选择 一 定的问题，对此对元模型进行了抽象，将表与表之间的拓 必要的待迁移数据。转换步骤是根据新旧系统数据库的映射 扑关系抽象成图的操作 ，图中的顶点对应于表，图中的边对 关系进行的，首先比较两个系统中数据类型的差异和联系 ， 应于表与表之间的外键联系，通过对图的遍历从而达到访 问 找出合理的对应关系，然后进行适当的转换。数据装载是通 数据的 目的。 过数据迁移工具或 自行编写的 SQL程序将抽取、转换后的结 在经典的图论中对图中的对象作了一些限制 ： 果数据加载到 目标数据库中Ill。 (1)两个特定定点相关联的边不能多于一条。 在数据迁移领域中，数据抽取一直以来都是一件复杂并 (2)图中不能出现从 自身到 自身的边。 且繁琐的工作 ，目前 ，大多数的业务级的数据迁移方式，只 而在数据模型中，这两点都可能出现，因此对图进行了 能针对具体的数据模型，定制具有针对性的迁移策略，一旦 扩展，允许这两种情况出现。 数据模型或者上层应用发生了变化 ，那么必须重新定制迁移 3 技术实现 策略 ，从而导致数据迁移的不稳定性。为了解决这一问题 ， 3．1元模型的生成 提出了一种基于元模型的数据抽取技术，解决了因为模型变 元模型 (metamode1)是对创建一个富含语义的模型所需 更而导致的迁移策略的变化，实现了通用性。 要的构造元素和规则的一个精确的定义。元模型是关于如何 2 设计思想 建立模型、模型的语义或模型之间如何集成和互操作等信息 一 种业务数据有可能存储在不同的数据表中，表与表之 的描述，是对某一特定领域建模环境的规范定义 ，它定义了 间通过外键进行关联，当要