数据管理工具介绍.pdfVIP

数据管理工具介绍--第1页

数据管理工具介绍

数据管理（DataManagement）是一个广泛而模糊的概念，国际数据管理协

会（DAMAInternational）将其定义为“为实现数据和信息资产价值的获取、控

制、保护、交付以及提升，对政策、实践和项目所做的计划、执行和监督”。该

定义包含以下三层含义：（1）数据管理包含一系列业务职能，包括政策、计划、

实施和项目的计划和执行；（2）数据管理包含一套严格的管理规范和过程，用

于确保业务职能得到有效履行；（3）数据管理包含多个由业务领导和技术专家

组成的管理团队，负责落实管理规范和过程。数据管理的其他称谓包括：信息管

理（InformationManagement，IM）、企业信息管理（EnterpriseInformation

Management，EIM）、企业数据管理（EnterpriseDataManagement，EDM）、数

据资源管理（DataResourceManagement，DRM）、信息资源管理（Information

ResourceManagement，IRM）、信息资产管理（InformationAssetManagement，

IAM）等。

当企业提及“数据管理”时，他们真正意味着什么呢？笔者认为主要包括云

数据管理、ETL和数据集成、主数据管理、参考数据管理、数据分析和可视化五

方面：

（1）云数据管理：集成来自组织的云应用程序生态系统的数据的过程。云

数据管理的主要区别在于，所有数据存储、接收和处理都发生在基于云的存储介

质中；

（2）ETL和数据集成：将数据从数据源加载到数据仓库中，将其转换、汇总

和聚合为适合进行深入分析的格式；

（3）主数据管理：描述了一组规程、技术和解决方案，这些规程、技术和

解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易

伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性；

数据管理工具介绍--第1页

数据管理工具介绍--第2页

（4）参考数据管理：是对定义的数据值域进行控制，包括：对标准化术语、

代码值和其他唯一标识符以及每个取值的业务定义的控制；对数据值域列表内部

和跨不同列表之间的业务关系控制；对准确、及时和相关参考数据值的一致、共

享使用进行控制，以进行数据分类和目录整编；

（5）数据分析和可视化：处理来自大数据源和数据仓库的选定数据，执行

高级数据分析，并允许分析师和数据科学家对多维数据进行切片、块、旋转等动

作剖析数据，从而能多角度多侧面观察数据并呈现可视化和仪表板。

在网络高速发展的今天，不知不觉我们走入一个数据爆炸时代，高质量的数

据管理工具对于实现数据管理最佳实践至关重要。基于以上观点，笔者把数据管

理工具分成五个类别：

（1）云数据管理工具：构建在云上，这些工具通过API、Webhooks或直接

数据库连接连接到多个数据源并集成多个数据源；

（2）ETL工具和数据集成工具：ETL工具可以帮助组织从多个数据源加载数

据、定义复杂的自动数据转换、测试数据管道以及将数据连续加载到目标数据库

或数据仓库，数据集成工具可以在数据从单个数据源移动到可分析的数据仓库或

在可分析的数据仓库内时，帮助组织将原始数据转换为干净的、聚合的、可分析

的数据；

（3）主数据管理工具：是主数据标准文本发布、主数据全生命周期管理的

重要平台，主数据标准的维护流程和管理措施通过管理平台进行系统实现和控制，

以保证标准的唯一性和宣贯的及时性，主要包括数据建模、数据整合、数据管理、

数据服务、基础管理、标准管理等功能模块；

（4）参考数据管理工具：通常作为