DAMA-DMBOK认证课程 第8章 数据集成和互操作.pptx

第8章数据集成和互操作DAMA-DMBOK数据管理知识体系指南CDGA/CDGP认证

引言活动工具和方法实施指南0102030405数据集成和互操作治理第8章数据集成和互操作

01引言定义、业务驱动因素、目标和原则、基本概念

4数据集成和互操作的语境图

5定义数据集成和互操作（DII）描述了数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程。数据集成是将数据整合成物理的或虚拟的一致格式。数据互操作是多个系统之间进行通信的能力。数据集成和互操作的解决方案提供了大多数组织所依赖的基本数据管理职能：数据迁移和转换数据整合到数据中心或数据集市将供应商的软件包集成到组织的应用系统框架中在不同应用程序或组织之间数据共享跨数据存储库和数据中心分发数据数据归档数据接口管理获取和接收外部数据结构化和非结构化数据集成提供运营智能化和管理决策支持

6定义数据集成和互操作依赖于数据管理的其他领域，如：数据治理：治理转换规则和消息结构数据架构：用于解决方案设计数据安全：无论是数据持久化、虚拟化还是在应用程序和组织之间流动，都要确保解决方案对数据的安全性进行适当的保护元数据：用于知晓数据的技术清单（持久的、虚拟的和动态的）、数据的业务含义、数据转换的业务规则、数据操作历史和数据血缘数据存储和操作：管理解决方案的物理实例化数据建模和设计：用于设计数据结构，包括数据库中的物理持久化的结构、虚拟的数据结构以及应用程序和组织之间传送的消息结构。

7业务驱动因素主要目的是为了对数据移动进行有效管理，另一个驱动因素是维护管理成本。管理数据集成的复杂性以及相关成本是建立数据集成架构的原因

8目标和原则目标：及时以数据消费者所需的格式提供数据将数据物理地或虚拟地合并到数据中心通过开发共享模型和接口来降低管理解决方案的成本和复杂度识别有意义的事件（机会和威胁），自动地出发警报并采取相应行动支持商务智能、数据分析、主数据管理以及运营效率的提升原则：采用企业视角确保未来的可扩展性设计，通过迭代和增量交付实现平衡本地数据需求与企业数据需求，包括支撑与维护确保数据集成和互操作设计和活动的可靠性。业务专家应参与数据转换规则的设计和修改，包括持久性和虚拟性。

9基本概念1、抽取、转换、加载抽取转换：是让选定的数据与目标数据库的结构相兼容1）格式变化4）消除重复2）结构变化 3）语义转换5）重新排序加载：加载过程实在目标系统中物理存储或呈现转换结果。抽取、加载、转换（ELT）如果目标系统比源系统或中间应用系统具有更强的转换能力，那么数据处理的顺序可以切换为ELTETL和ELT的区别要掌握：数据湖会采用哪种？映射是转换的同义词，它既是从源结构到目标结构建立查找矩阵的过程，也是该过程的结果。映射定义了要抽取的源数据与抽取数据的识别规则、要加载的目标与要更新的目标行的识别规则以及要应用的任何转换或计算规则。

10基本概念2、时延批处理变更数据捕获源系统填入特定的数据元素源系统进程在更改数据时被添加到一个简单的对象和标识符列表，然后用于控制抽取数据的选择源系统复制已经变化的数据3准实时和事件驱动4异步：提供数据的系统在继续处理之前不会等待接收系统确认更新。不会阻塞源应用程序继续执行，也不会在任何目标应用程序不可用时导致源应用程序不可用。实时，同步：执行下一个活动或事务之前需等待接收来自其他应用程序或进程的确认。6低延迟或流处理：低延迟旨在减少事件的响应时间。可能包括使用像固态硬盘的硬件解决方案或使用内存数据库的软件解决方案。

11基本概念3、复制监视数据集的更改日志。如果数据更改动作发生在多个副本站点时，那么数据复制解决方案不是最佳的选择。4、归档5、企业消息格式/规范格式规范化的数据模型时组织或数据交换团队使用的通用模型，用于标准化数据共享的格式

12基本概念6、交互模型点到点1）影响处理：如果源系统是操作型的，那么提供数据的工作量可能会影响交易处理。2）管理接口：点对点交互模型所需的接口数量接近系统数量的平方数。3）潜在的不一致：当多个系统需要不同的版本或数据格式时，就会出现设计问题。2中心辐射型企业服务总线（EBS）是用于在多个系统之间接近实时共享数据的数据集成解决方案，其数据中心是一个虚拟概念，代表组织中数据共享的标准和规范格式。发布与订阅发布和订阅模型涉及推送（发布）数据的系统和其他接受（订阅）数据的系统。

13基本概念7、数据集成和互操作架构概念应用耦合松耦合是一种优选的接口设计，其中在系统之间传送数据不需要等待响应。基于企业服务总线EBS的面向服务架构是松散耦合数据交互设计模式的一个示例。编排和流程