达梦数据交换平台产品白皮书课题.docx

达梦数据交换平台产品白皮书 达梦数据交换平台 ——高效全面的数据集成应用的支撑平台 产 品 白 皮 书 达梦数据库有限公司 2013年3月  本文档含有达梦数据库公司的保密的技术和商业信息未经达梦数据库公司的书面同意，不得进行拷贝、复印或者以其它任何形式向第三方散发。 我们尽力保证本文档中信息的准确和完整，但是仍然可能出现技术或者文字描述的错误，如果因使用本文档造成的损失，达梦概不负责。 本文档中包含的信息可能会随时更改，恕不另行通知。  绪论 近几十年来，信息化的推进和计算机网络的飞速发展，使得人类社会所积累的数据量已经超过了过去5000年的总和，数据的采集、存储、处理和传播的数量也与日俱增。然而，这些为不同应用服务的数据都存储在许多不同的数据源之中。为更有效地利用这些信息，实现企业或社会组织数据共享与交??，减少数据采集的重复劳动和相应费用，需要从多个分布、异构和自治的数据源中集成数据，同时还需要保持数据在不同系统上的完整性和一致性。因此，如何对数据进行有效的集成已成为增强企业商业竞争力的必然选择，尤其是对于那些拥有多部门多数据源的大型企业或者组织来说，每一个部门都拥有自己的数据库，这些数据库可能是独立、异构且自治的，为了各部门间更好的合作和数据共享，建立一个完善的数据交换和集成系统是极有应用价值而且尤为重要的。 产品介绍 达梦数据交换平台是达梦数据库有限公司在上十年数据处理经验的基础上，研制开发的具有自主版权的、商品化的数据交换与处理平台。达梦数据交换平台创新地将传统的ETL工具（Extract、Transform、Loading)与分布式消息平台相结合，实现了对数据抽取、传输、整合、以及装载的一站式支持，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台，同时也可以作为数据加工处理工具由业务人员直接使用。 功能组件 达梦数据交换平台由以下5个软件组件构成： 达梦数据集成服务器 DMETL Server DMETL Server是一个具备数据抽取（Extract）、清洗转换(Transform)和装载（Load）功能的通用的数据处理平台，能够为异构数据同步和数据整合应用提供完整的支持。 达梦数据交换设计器 DMETL Studio DMETL Studio 提供可视化的管理、流程设计、调试功能。 达梦数据交换控制台 DMETL Console DMETl 服务管理、参数配置与初始化。 达梦数据总线 DMETL Databus 提供基于消息的、可靠的、安全的数据路由与交换服务，用于支持广域网上跨部门的数据交换。 达梦数据交换监控系统 DMETL Web Monitor 对多节点的数据交换网络的管理、监控以及统计分析功能。 版本划分 达梦数据交换平台分为标准版和企业版，其中标准版主要提供基本的数据整合和数据同步功能，企业版则在标准版的功能上增加了基于消息的数据交换与路由、监控与统计、数据质量管理、数据的发布和订阅等企业级的功能，其主要功能划分见下表： 标准版企业版数据清洗转换√√增量数据抽取√√作业调度√√数据发布与订阅√自定义函数变量√√权限管理√√操作审计√√实时告警√√数据质量检测√数据交换与路由(DMETL Databus)√交换监控与统计（DMETL Web Console）√典型应用场景 达梦数据交换平台是专门为各种类型的数据集成应用而设计的，使用达梦数据交换平台，能够大大缩短数据集成类应用的工作量。达梦数据交换平台能够全面而高效的应用于以下一些场景。 异构数据同步 异构数据同步是指在一定的时间范围内，通过特定的技术方式，实现异构数据源之间的数据一致性。数据同步应用通常有以下一些要求： 性能要求高，通常要达到准实时同步，因此需要实现增量数据抽取，以达到快速同步和节省网络资源的； 可靠性要求高，故障自动恢复。 达梦数据交换平台可以很好的满足上述要求，可以支持一对一或者一对多的文件到文件、文件到数据库、数据库到数据库、数据库到文件的数据同步。同步的源和目的数据可以是不同类型的数据库或者文件，并且在同步过程中可以对数据格式进行转换以满足源和目上的不同应用系统的要求。 一对多数据同步 数据交换 数据交换，通常用于不同部门间的业务协同，数据的流动是通常由应用发起并推动的，应用获取到数据并完成业务逻辑之后，可以把数据存储下来，也可以丢弃。数据交换应用通常涉及多个部门的数据库和应用程序，需要部署多台数据交换服务器。 达梦数据交换平台内置了软总线功能，可以连接各种应用和数据源，支持数据自动路由，保证数据的安全可靠传输。同时达梦数据交换平台也提供了交换监控配置系统，通过该系统可以实时监控各个交换节点的状态，并