大数据集成ETL工具地设计与构建.pdfVIP

数据集成（ ETL）工具的设计与构建 陈小菲 经过几十年来快速不断的 IT 创新造就了大批综合性的、分布式的且不断变化的应用系 统，这些系统跨越了从大型机到 Web的多种平台， 因此不同系统的互连成了亟待解决的问题。 如何发挥这些系统中各种数据的作用， 将不同应用系统的数据进行提炼、 整合， 并充分利用 已有的技术及应用资源， 建成一个完整的、 可持续发展的集成系统， 数据集成工具成为一种 重要的技术， 面对多种技术环境开发的基础业务系统， 把业务数据迁移到综合业务系统和决 策分析系统，并进行有效整合。 数据集成工具主要包括以下几个过程：抽取、清洗、转换和加载等，本文中数据集成工 具简称为 ETL 工具。 在实际项目中， 本 ETL工具已开始实现研发和试用， 本文将对 ETL工具 的设计思想与功能实现等内容进行讨论。 一、 ETL工具的功能目标 本 ETL工具以各种技术环境开发的基础业务系统为基础， 把业务数据迁移到综合业务系 统和决策分析系统， 并进行有效整合， 建成一个完整的集成数据库系统， 因此在企业应用集 成（ EAI ）系统中， ETL 工具扮演着相当关键的角色，以下是 EAI 数据集成模型图，箭头表 示的数据迁移过程需要通过 ETL工具实现。 图 1 数据集成模型 1、主要功能 ETL 工具主要功能可分为两部分：数据集成配置和数据集成服务，具体如下： （1）数据集成配置：提供一个 GUI 界面，使得用户能够通过界面的互动，比较容易地 实现数据集成的流程、规则的定义；同时提供相应的解析功能，实现将配置规则进行解析， 实用标准文案 并对数据进行集成。最后能够定义并执行相应的抽取计划。 （2 ）数据集成服务：提供相应的解析功能，实现对集成规则的解析，服务读取这些规 则，生成集成任务，在后台进行运行数据集成。并且把这些集成信息发布出来，可以让其它 集成工具进行信息共享。 2、特点 （1）易用性：数据集成工具进行抽取任务配置时，比较繁锁，而本 ETL 工具在进行抽 取任务配置时可以做到简单易学，易用；同时配置操作也流程化，易于理解。 （2 ）稳定性：本 ETL 工具进行任务执行，保证抽取任务的正常进行。运行稳定，不轻 易发生系统错误，不轻易发生程序死机。 （3）可靠性：本 ETL 工具进行任务抽取时，能可靠地完成抽取，源数据到目标数据的 抽取误差低于 0.01 ％，对于因特殊情况无法进行抽取的，或中途停止无法抽取的系统将记 录详细信息。 （4 ）执行效率：本 ETL工具对大数据量进行数据抽取， 可以保证对大数据 量的抽取在正常情况下能较好地执行，在一定时间内完成对大数据量的抽取。 二、 ETL工具的总体架构设计 源数据 XML报文 目标数据库 源数据 Web服务器 抽取进程控制 抽取核心 进程 查看抽取情况 抽取服务器