数据集成整体解决方案.pdfVIP

数据集成整体解决方案

数据集成是指将企业分散的信息系统中的业务数据再次集

中、统一管理的过程。这是一个渐进的过程，只要有新的、不

同的数据产生，就需要不断进行数据集成的步骤。随着企业信

息化的发展，数据变得凌乱、重复、歧义，数据集成的空间与

需求日渐迫切，因此企业需要一个主数据管理系统来统一企业

的产品信息、客户信息；需要一个数据仓库系统来提升领导层

的决策意识，加快市场战略调整行动；需要一个数据中心系统

来集中交换、分发、调度、管理企业基础数据。

数据集成的必要性和迫切性不言而喻，已经成为企业信息

化战略规划的首要位置。要实现企业数据集成的应用，不仅要

考虑企业急需集成的数据范围，还要从长远发展考虑数据集成

的架构、水平和技术等方面内容。从数据集成应用的系统部署、

业务范围、实施成熟性来看，主要可分三种架构：单个系统数

据集成架构、企业统一数据集成架构和机构之间数据集成架构。

单个系统数据集成架构是国内目前大量采用的架构，主要

是以数据仓库系统为代表提供服务而兴建的数据集成平台，面

向企业内部如ERP、财务、OA等多个业务操作系统，集成企

业所有基础明细数据，转换成统一标准，按星型结构存储，面

向市场经营分析、客户行为分析等多个特有主题进行商务智能

体现。这种单个系统数据集成应用架构的主要特点是多对一的

架构、复杂的转换条件、TB级的数据量处理与加载，数据存

储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。

企业统一数据集成架构适用于组织结构较复杂的大型企业、

政府机构等，这类单位具有业务结构相对独立、数据权力尤为

敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来

建立一个统一的数据中心平台，来解决部门之间频繁的数据交

换的需求。例如金融机构、电信企业、公安、税务等政府机构，

这些机构的业务独立、层级管理的组织结构决定了内部数据交

互的复杂性。概括来说，此类应用属于多对多的架构、数据交

换频繁、需要独立的数据交换存储池、数据接口与数据类型繁

多等特点。

企业管理和决策性较强的信息系统，例如主数据管理系统、

财务会计管理系统和数据仓库系统，可以直接从数据中心获取

数据。这种方法避免了在没有企业数据中心时出现的一对多交

叉的问题，并且避免了业务系统需要重复传输数据的情况。例

如，当在CRM系统中新增一条客户信息数据时，可以直接将

数据发送到企业数据中心，然后由企业数据中心面向风险管理

系统、数据仓库系统和主数据管理系统进行分发。

跨机构数据集成架构通常应用于多个单位围绕某项或几项

业务进行的业务活动，或由一个第三方机构来协调这些企业、

机构之间的数据交换，以制定统一数据标准，从而形成一个多

机构之间的数据集成平台。例如，XXX与各商业银行之间的

应用案例、各市政府信息中心与市政府各机关单位之间的应用

案例、外贸EDI（海关、检验检疫局、XXX、银行、保险、

运输等）以及BTOB电子商务平台等。这种应用属于跨多企

业、单位多对多的架构，具有数据网络复杂、数据安全性要求

高、数据交换实时性强等特点。

对于这种跨机构数据集成架构，需要考虑数据的安全性和

独立性。因此，各企业、单位需要考虑在业务系统与数据集成

平台之间增加一台前置机，以增强自有系统数据的独立性和安

全性，同时更有利于数据平台对数据的获取、分发和交换的统

一要求。此外，数据集成平台还需要具备更多的技术功能，以

满足众多单位的众多数据接口、多种数据类型、不一致的数据

标准、数据交换的实时性、对数据的抽取与推送（PullAND

Push）等业务需求。例如，数据集成平台需要具备数据连通、

ETL、数据实时、数据清洗、数据质量、EBS（Enterprise

ServiceBus）和SOA（Service-OrientedArchitecture）等技术

和特点。

等。这些工具具有可视化的操作界面，通过拖拽配置等简

单操作就能完成数据抽取、转换、加载等操作，大幅度降低了

开发难度和工作量，同时也提高了数据集成的效率和准确性。

数据同步（n）应用：

数据同步主要是指将不同系统之间的数据进行实时同步，

保证数据的一致性和及时性。这种应用场景在金融、电信等行

业比较常见，例如银行的ATM机、POS机等交易终端和核心

银行系统之间的数据同步。数据同步的