第四章 ETL技术白皮书.pdfVIP

达梦数据交换平台 技术白皮书 达梦数据库有限公司 目录 概 述4 1 体系结构4 2 技术特性5 2.1 通用性5 2.1.1 兼容多种硬件体系6 2.1.2 多种操作系统支持6 2.1.3 多种数据源支持6 2.1.4 多种变化数据捕获方式6 2.1.5 多种数据转换方式7 2.1.5 国际化支持7 2.2 可靠性7 2.2.1 消息的自动确认7 2.2.2 日志记录7 2.2.3 警报7 2.2.4 元数据的导入和导出8 2.3 高性能8 2.3.1 可配置的工作线程和缓存8 2.3.2 批量抽取和装载8 2.4 扩展性8 2.4.1 多种元数据存储方式8 2.4.2 应用集成8 2.4.3 二次开发9 2.5 易用性9 2.5.1 简便的系统安装和配置9 2.5.2 适用易操作的图形化/远程管理工具9 2.5.3 丰富的作业控制组件9 2.5.4 作业调度 10 第 2 页 共 10 页 2.5.5 SQL 编辑器 10 2.5.6 多种运行方式 10 第 3 页 共 10 页 概 述 信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。随着企业信息化 建设的发展，企业内部积累了大量的业务数据。而企业的业务数据源通常分布在相互独立的 各个子系统和节点中，且随着系统的增加，冗余的数据也越来越多。企业如何通过各种技术 手段，并把数据转换为信息、知识，已经成为提高其核心竞争力的主要瓶颈。而 ETL 则是 主要的一个技术手段。ETL 负责将分布的、异构的数据源如关系数据库、平面文件中的数 据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，为基于 数据仓库的决策分析应用提供高质量的数据。 DMETL 是提供数据交换和数据集成的平台软件，产品具备ETL 的各项基本功能，稳定 可靠，性能良好。DMETL 源自于对中国信息化进程的深度了解，构架之初又充分研究了国 内外先进产品的产业发展趋势，系统具有高度的可靠性、扩展性和易用性，使得产品符合主 流技术趋势，能最大限度的保护用户的投资。 1 体系结构 DMETL 实现了传统的ETL 所需的基本功能，并在此基础上有所扩展。DMETL 体系结 构如图1 所示。 第 4 页 共 10 页 客户端管理工具 流程设计器 rmi / http 服务器 控制器 服务监听和管理 元数据管理 元数据库 ETL引擎 作业调度 作业执行