CDC4kettle技术白皮书.pdfVIP

                                  科创数据集成总线（DIB）  技术白皮书                                          联系 qq 商业智能和数据集成技术背景 随着企业各种信息系统的建设和完善，企业所拥有的数据越来越多。决策者面对的问 题已经不再是缺少信息，而是如何得到正确的信息以帮助制定决策。典型的公司拥有数十 乃至上百个应用，但是却难于从中提取、综合、使用这些系统的数据，继而从数据中提取 有用的信息，发掘并提升数据的价值。 商业智能(Business Intelligence，简称 BI)提供了提取数据、处理加工、信息访问的技术 手段。经过多年发展，其运用范围逐渐由支撑特定业务过程的战术性决策发展到在企业范 围内系统化地创造价值。因此，越来越多的企业已将其视为战略性的企业应用。 商业智能通过将分散在企业各系统中的数据进行整合，使得繁琐的信息获取过程变得简 便易行。而 Dabi 商业智能解决方案则进一步提升了企业创造价值的能力：任何用户都能 够容易的运用这些技术进行决策，业务执行、业务管理、企业管理各个层次上的用户都能够 使用不同的工具和技术做出明智的决策，全方位的提高企业的竞争力。 商业智能系统建设的基础设施包括： •数据集成总线，也就是 ETL(数据抽取、转化、加载)工具 •数据仓库、在线分析(OLAP)引擎、数据挖掘(Data Mining)引擎 1. 产品概述 1.1 原理 Dabi 是一款面向高端用户的数据集成总线产品，提供了完整的数据集成和商业智能解决 方案。它由 4 个核心引擎组成： 增量引擎(DeltaTX Engine)：用于捕捉数据库事务，从而实现基于事务的实时增量 的数据同步或转换。 数据转换引擎 （Data Transform Engine）：以数据转换为中心，提供了支持数据抽 取、转换、加载各环节的元件，用户可以用这些元件来设计转换流程。 作业调度引擎 （Job Mediation Engine）：系统内置了功能强大的作业项元件，转换 流程也可以作为作业项元件，用户可以用这些作业项设计作业流程，然后进行作业调度。 分析引擎: 是一个基于内存和列存储的数据库仓库，具有非常优越的分析性能。 科创数据集成总线（DIB）作为BI（Business Intelligence）的统一解决方案，其架构模型可以 用下图表示。 1.2 系统需求 　 CPU 1G 以上，内存1G以上，硬盘空间 1G 以上。 　 支持各种主流平台，如HP－UX、IBM AIX、SUN SOLARIS、WINDOWS NT/2000、Linux。 　 使用Java实现，要求 JRE1.6 以上。 以上为最低系统需求，对于上线系统应根据实际情况提升系统配置。 2. 功能介绍 科创数据集成总线（DIB）功能非常强大，可以满足各种复杂业务环境下的数据集成需求。 DIB 不仅具有强大的 ETL 功能，另外一大特色就是 CDC(Change Data Capture 详细介绍见文 档最后。)，基于增量数据，用于实时数据集成，可以做灾备/数据复制/数据变化监控等等， 具体内容详见产品典型场景介绍。 2.1 数据抽取 　 支持多种数据源结构化数据（各种主流数据库）和非结构化数据（各种