MIntegration一种针对大规模数据并发数据集成方案.pdfVIP

MIntegration:一种针对大规模数据的并发数据集成 方案 李俊奎，王元珍，李专 华中科技大学数据库与多媒体研究所，湖北武汉 (430074) E-mail：jkltk2000@126.com 摘 要：研究了在大规模数据的情形下的数据集成，提出了一种 MIntegration的并发集成方 案，该方案不是一次将数据读入内存，而是将大规模数据分解成一系列的小规模数据集成子 任务，子任务之间并发运行，从而有效地解决了大规模数据的集成。在理论分析方案效率的 基础上，实验结果表明，这种集成方案能够以可配置的方式进行大规模的数据集成。 关键词：数据集成，大规模数据，任务分解 中图分类号：TP331 1. 引 言 一方面，随着现代化企业大规模生产电子化进程的深入推进，存放于企业数据库中的各 种数据越来越多，这些数据具有分布广泛、时间跨度长等特点；另一方面，随着网络技术的 发展，整个 Web 可看作是一个数据无限的数据源。在这种情形下，人们希望将这些数据进 行集成，从而为科学决策和生产服务。人们以前多是靠着繁杂的手工劳动来处理数据集成， 这种方法不仅效率低下，而且往往仅是在小范围内实现统一，对于大量各式各样的数据则无 能为力[5] 。在这种需求的下，有必要构建工具用于数据的自动集成。 而在自动数据集成过程中，一个不可避免的问题即是需要面对大量的数据处理，甚至是 海量的数据( 以G、T 计算) ，而能够同时处理的数据量则是评价集成工具优劣的一个重要指 标。当前存在的数据集成工具[2][3][4]，多是一次直接在内存中进行整个集成操作，一方面， 这无疑限制了工具只能用于处理小数据量的情形；另一方面，由于没有进行集成任务分解， 即使在系统负载较轻的情形下，也只有一个集成任务在运行，没有充分利用系统资源，导致 效率不高。 本文在进行 DM-Azszp(DM-Azszp 是安全智能数据整合平台项目代号，该项目包含一个 数据集成的中间件)项目过程中，提出了一种 MIntegration 的集成方案，该方案具有如下特 点： (1)不对集成数据量大小进行预前假定。根据集成任务的数据量将任务进行分解，通过 小数据量的多次集成，解决了大规模的数据集成问题； (2)对分解后的集成任务用多线程启动，充分利用系统资源，提高系统效率； (3)通过任务配置，实现可控的集成过程。 本文其余部分如下组织：第 2 节给出数据集成相关定义，以及数据集成的典型模型；第 3 节是 MIntegration 的实现方案；第 4 节对 MIntegration 进行大数据量的实验测试；最后在 第 5 节总结全文。 基金项目: 国家发展与改革委员会“安全智能数据整合平台开发及产业化”项目（项目编号[2005]538 号） - 1 - 2. 数据集成模型 2.1 相关定义 为方便讨论，首先给出文中使用的一些定义。 定义 1 集成数据源(Integration Data Source) 数据集成过程的数据来源。可以是关系数据 库，各种符合规格的文件，或者直接是 Web 站点，用Ds 表示集成数据源。在本文讨论中不 限制数据源的具体形式。 定义 2 集成目的源(Integration Data Destination) 数据集成过程的数据目的地，是最终存 放集成数据的地方，用Dt 表示集成目的源。 定义 3 集成任务(Integration Task) 完成集成过程的任务。为了标识集成任务，对每一个 集成任务使用一个唯一的整型taskid 标识，一个集成任务如下形式化表示： Task ::= taskid , Ds, Dt, pri,mod e 其中： taskid 为集成任务的任务id ，用于集成任务标识； Ds 为集成数据源标识； Dt 为集成目