TongIntegratorETL技术白皮书分解.doc

TongTech ? TongIntegratorETL 技术白皮书 北京东方通科技公司 2012年 目录 1. 前言 3 2. ETL概述 3 3. TongIntegratorETL简介 4 4. TongIntegratorETL体系结构 4 4.1. TongIntegratorETL产品组成结构 4 4.2. TongIntegratorETL Studio集成开发工具 5 4.3. TongIntegratorETL服务器 6 4.4. TongIntegratorETL资源库 6 5. TongIntegratorETL主要功能与特点 7 6. TongIntegratorETL应用实例 8  前言 随着信息技术的不断发展，企业在信息化建设上投入了大量的资金、人力，逐步形成了适合自身某些部门或某些业务需要的管理信息系统，如客户关系管理CRM、企业资源计划ERP、生产制造系统、人力资源计划HR等，这些管理信息系统，在企业某些部门或业务的管理上，基本发挥了信息电子化、流程自动化、管理科学化的重要作用。但是，企业现有的管理信息系统，投入的时间、部门、生产的厂家实现技术造成企业现有的应用信息系统各自独立运行，数据不能共享，各自业务流程不能自动衔接，内部自成体系的信息化孤岛。 在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。ETL是实现数据集成的主要技术ETL是Extract（抽取）、Transform、Load数据抽取从源数据源系统抽取目的数据源系统需要的数据；数据转换将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工数据加载将转换后的数据装载到目的数据源。负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。 图表 1 ETL结构 TongIntegratorETL简介 TongIntegratorETL（简称TIETL，TongIntegrator Extract-Transform-Load）作为东方通科技公司的企业数据集成产品，提供对企业数据的集成功能。通过TongIntegratorETL用户可以从不同结构的数据源中抽取数据（Extract），对数据进行复杂的加工处理（Transform），最后将数据加载到各种存储结构中（Load）。例如实现从多个异构的数据源（不同数据库、结构化文件等）抽取数据，并加工成统一的数据格式，最后加载到数据仓库中，供BI等应用使用。 TongIntegratorETL提供一个简单易用的开发、管理工具，提供从数据集成逻辑的设计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工具。通过TongIntegratorETL可以实现对数据集成流程的开发和部署；通过监控和日志功能，可以实现对数据集成的运行过程进行实时监视，对集成流程历史数据进行分析。 TongIntegratorETL基于Java技术和标准数据库接口（JDBC、ODBC等）提供对各种系统平台的支持和各种主流数据库的支持。 TongIntegratorETL能够无缝集成东方通公司其他的中间件产品，如基于JMS1.1规范集成消息中间件TongLINK/Q。另外，它还可以无缝集成其他主流厂商的应用系统或开源应用，如消息中间件ActiveMQ。 TongIntegratorETL体系结构 TongIntegratorETL产品组成结构 TongIntegratorETL产品架构由统一集成开发工具TIETL Studio、TIETL服务器、资源库三大核心部分组成，如图所示。 图表 2 产品组成架构图 TongIntegratorETL Studio集成开发工具 TongIntegratorETL Studio集成开发工具是一个集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体的平台。通过该平台实现从数据集成需求到实现的快速转化，并实现对整个生命周期的管理。 开发/调试 TongIntegratorETL Studio提供大量的任务组件和转化组件，通过这些组件，以图形化的方式，实现数据集成流程的快速编排。 TongIntegratorETL Studio还提供了功能强大的调试预览功能，可以在开发过程中实现数据行级别的调试和预览，跟踪和观察每一行数据经过数据集成流程中每一个转化