企业数据智能管理治理平台设计与建设技术方案.docVIP

企业数据智能管理治理平台设计与建设方案

目录

1.1总体建设方案概述 3

1.1.1数据治理论述 5

1.1.2数据治理流程 7

1.1.3基础库治理步骤 8

1.1.4治理过程产出 11

1.2平台建设总体设计 11

1.2.1平台设计理念 12

1.2.2平台架构设计 13

1.2.3平台技术特点 15

1.3数据治理建设方案 16

1.3.1数据标准管理 16

1.3.2元数据管理 20

1.3.3数据质量管理 25

1.3.4数据集成管理 30

1.4数据管理建设方案 31

1.4.1数据资产管理 31

1.4.2数据异常管理 44

1.4.3数据架构管理 47

1.4.4数据开发管理 48

1.5数据智能建设方案 54

1.5.1数据血缘 54

1.5.2智能标签 56

1.5.3数据探索 58

1.5.4画像分析 59

1.1总体建设方案概述

数据管理平台涵盖了数据的全局治理和过程管控，是数据可用的前提，只有确保数据的标准化、规范化，可信可用，才能进一步通过数据运营、数据应用帮助大数据中心实现数据资产管理，发现内部数据问题、发掘数据价值，进而实现

数据资产的盘活和有效利用。

数据管理平台基于元模型驱动模式，构建一体化的数据资产管控，实现全流程、全生命周期和全景式的“三全”治理，确保每一份数据资产皆可靠、可信、

可用。

通过对数据、应用、系统综合管理，构建标准化、流程化、自动化、一体化

的数据管理体系。

数据治理将分散、多样化的数据通过汇集、标准化、清洗等操作对数据的质量进行全面的提升和监控，形成城市大数据的管理和控制机制，并提供一站式数据治理体系，持续不断的挖掘和提升数据的应用价值。从功能角度，数据治理系统包括数据标准管理、数据目录管理、数据质量管理、数据集成、工作流、数据

地图/数据血缘、数据管理数据安全、多租户、元数据管理、系统安全等功能。

制定相关标准规范及管理制度，通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成区级数据池，同时经过数据清洗、转换、融合、治理

后高质量的公共数据资源，形成区级综合数据平台。

数据治理系统通过对数据全生命周期、端到端的全链路透明化管控,实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化”,实现数据资产的统一管理及全业务流程的实时监控，有效解决数据资源不可知、数据质

量不可控、数据关系不可联、数据脉络不清晰的痛点问题。

数据治理就是将数据转化为资产的手段和方法,采用的数据治理子系统和工具，以分布式存储和运算为基础，通过人工智能和机器学习技术，辅之以适量的人工训练和专家反馈不断优化数据理解和数据关联。数据治理子系统给围绕闵行区大数据资源平台的应用建设目标，包含数据地图、数据质量、智能监控、数据保护伞以及安全卫士，提供全面的数据治理能力，提供数据提取、数据清洗、数据标准化、数据转换、数据关联、数据比对等方面服务。在数据打通过程中，同时做好数据质量管理，主要包括四个方面数据缺失补缺、数据重复去重、数据错

误纠正、数据不可用补救。

数据治理子系统通过标准API接口、用户自主上传与自主数据抽取技术将用户内部数据直接导入数据池,利用全局数据处理技术在数据池中解决大量数据的集成处理，将数据统一整合、集成，最终形成可以提供高质量数据的数据集成

平台，