基于ETL的地质环境遗留系统集成及应用研究.docx

?

?

基于ETL的地质环境遗留系统集成及应用研究

?

?

郑庭明

摘?要：本文在介绍了遗留系统及相关知识的基础上，阐述了为什么要对地质环境遗留系统进行集成，并比较分析了不同系统集成方法的优缺点，最终选择采用ETL技术进行数据集成的方式。介绍了ETL技术及其应用框架，并用地质环境一张图进行了示例说明。

关键词：ETL;地质环境;遗留系统;集成

：TP39???：A

StudyonIntegrationandApplicationofGeologicalEnvironment?LegacySystemBasedonETL

ZHENGTingming

（ShandongMonitoringCenterofGeologicalEnvironment，Jinan250014，China）

Abstract：Thispaperillustrateswhywemustintegrategeologicalenvironmentlegacysystembasedontheintroductionofthelegacysystemandrelatedknowledge.Inviewoftheadvantagesanddisadvantagesofdifferentsystemintegrationmethods，thispaperchoosesETLtechnologytointegratedata.ThenthispaperelaboratestheETLtechnologyanditsapplicationframeworkbygivinganexampleofamapofgeologicalenvironment.

Keywords：ETL;geologicalenvironment;legacysystem;integration

1??引言（Introduction）

遗留系统指不再适应新的技术或新的业务需求，但鉴于替换或修改的成本过高而继续投入使用的计算机系统或应用程序[1]。

地质环境系统的开发思路往往是使用者意识到需要某种功能时就开发具有该功能的系统，导致地质环境存在较多时期不同、操作系统不同、数据库不同、功能不同的遗留系统。这些遗留系统在运行过程中，产生和累积了海量的业务数据，但是各遗留系统的业务数据分布在各自的系统中，各系统的数据库管理系统、数据标准、操作系统都不相同，导致这些海量数据之间缺乏关联，形成“信息孤岛”[2-6]。利用何种系统集成技术对这些遗留系统进行有效的集成，在既保证不影响现有遗留系统的使用，又避免重复建设，节约成本的基础上实现信息共享，提高地质数据资产使用和管理效率，这既是地质环境信息化建设中急需解决的问题，同时也是构建共享开放的数据资源体系的重要一环。

2??系统集成技术选型（Selectionofsystemintegrationtechnology）

近年来，在系统集成、数据集成、工作流程、信息利用等方面出现了很多解决方案[7]，详见表1。

地质环境遗留系统正是拥有大量的历史数据（如灾害点动态监测数据，地下水动态监测数据），数据也比较稳定（如地质灾害点，地质遗迹点），数据需要长期、系统的保存，加之基于数据的集成可不影响遗留系统已有的架构、操作，又可避免重复建设，还可保持数据的“鲜活度”，故此本文选用数据集成的技术。

鉴于ETL可以对各种数据源（如Oracle、Sqlserver、DB2、Mysql、Access、txt、excel、csv、xml等），不同数据库类型间的数据进行处理，数据处理组件丰富，通用性强，可以很好地解决数据抽取、转换、加载的问题等特点，故本文选用ETL技术进行数据集成。

3??关键技术（Keytechnology）

ETL（Extraction-數据抽取、Transformation-数据转换、Loading-数据加载）其实质就是一种数据转换的工具，在数据源与目标数据库中搭建一座桥梁，并且在桥上设置“检查站”，通过“检查站”去除“脏数据”，确保高质量的新数据源源不断地流向目标数据库。ETL过程其实就是数据流动的过程，将不同来源的数据统一汇入目标数据库[8]。

ETL具有的功能如图1所示[9]，通过连接、抽取、转换、加载等流程完成多源异构数据的清洗、汇总。

ETL流程图如图2所示，其具有操作简单、支持各类数据源、支持各种软硬件平台、通用性强、提供灵活的定制规则、提供强大的管理功能等优势[10，11]，利用ETL的优势，可在网络相通的前提下实现各级部门之间的数据集成与调用，提高数据利用的广泛性、高效