水务集团数据治理解决的方案（50页）-原创力文档.pptxVIP

数据治理方案介绍

水务集团

—

目录

数据治理需求概述

数据治理方案介绍

1

数据治理需求概述

水务集团数居现状

数据之间有什

么关系?

谁能理解我们企业的数据?

数据里面的同

一个术语怎么

有不同的解释?

数据是如何在各

系统间传递的?

数据是从哪里

来的?

我能相信我看到的数据吗?

有什么数据?

P4

·信息孤岛：孤岛现象突出，业务系统“各自为战”数据分散，且数据已业务为导向

·标准不统一：未制定统一的数据标准，各系统业务口径和技术定义差距较大

·数据质量低：各系统数据良莠不齐、质量低数据格式不统一

·存储复杂度高：不同数据的混合存储，数据分析复杂度提升

·数据处理能力差：大量半结构化数据和非结构数据未保留处理

·数据共享难：未建立数据全局数据共享机制，实现数据互联互通

水务集团数据问题

管网监测

水质监测供水调度

业务系统越来越多

ERP

客服

P5

将多样的核心数据等通过，图量深查、清浩，集成接等技术手段进行优化，

形成水务集团内的数据治理体系，并业组识结沟，形成数据管控执行体系，在内部运行提肝、挖主数据的应用价值。

解决水务集团内部如下的数据管控问题：

0数据分散且多样化问题。

0隐蔽性的数据质量问题。

数据质量低下，别用率历的问题。

o数据管理落实不力的问题。

。数据使用者快策依据不准确的问题。

数据治理的需求

P6

数据治理目标

统一数据标准，优化数据模型，建立统一的企业数据资产管理体系，构建共享全景数据视图

应用

保证数据资产的有效利用和

价值最大化，使数据资产保

值和增值

成本

优化数据生命周期管理，控制数据管理成本，降低数据管理和运维压力

不断提高数据和信息的质量，包括准确性，一致性、及时性

确保数据隐私和保密，加强数据访问控制

统一

质量

支撑企业内外数据有效应用

数据治理目标

安全

增值

P7

数据冶理的价值

通过数据资源治理提升促进数据的业务价值水平

数据业务价值水平

1

数据帮助业务运作

关注数据变化和报表

数据资源治理水平

P8

4

3

数据称为战略

资产

数据的灵活运用

5

数据保障企业脱颖而出

数据治理与业务需求相整合

优质海量数据随需而变

基于优质数据的创新

初级数据治理交互

数据促进创新

数据管理业务

*

2

数据治理方案介绍

口整体架构口数据仓库建设方案口数据生命周期管理

口数据标准管理

口主数据管理

口数据质量管理

口元数据管理

2

P9

数据交换

数据接口

数据查询

数据开放

主数据管理

客户数据

产品数据

数据层次管理

数据源

本地

文件

RMDBS数据

HDFS

Kafka

数据质量稽核

稽核任务

稽核报告

数据生命周期管理

数据接入

数据加工

数据探索

元数据管理

数据全景

数据血缘

数据标准

标准制定

标准实施

具数据写入

DataWarehouse

数据写入

gop

总体架构设计

数据写入

ODS

数据标准管理

数据安全管理

软硬件基础设施、网络环境

数据治理平台

数据应用

P10

数据接入

·结构化数据接入，包括DB2、ORACLE、MySQL等

·半结构化非结构化数据接入，包括文本，PDF,图片等·爬取互联网公开数据

·实时收集网络用户行为数据

接入

实现数据共享与消费

·可视化配置方式实现数据接口的创建

发布、管理、维护生命周期和运维

·一键发布API实现企业内外部数据共享与消费

·消费方式支持：FTP、DB、API

消费

5

DPM

加工

可视化数据加工

·可视化创建逻辑表及物理表

·多语言脚本创建，维护，在线调试·类SVN的脚本版本管理

·数据处理过程统一调度管理

整合

异构数据源整合

·异构数据统一存储管理·多源数据充分归一整合

数据清洗

·数据标准化·数据过滤

·数据加密·数据脱敏

数据生命周期管理

清洗

P11

全量初始化导入

增量数据同步HDFS

数据加载调度监控数据加载

用户非结构化、历史数据整合

第三步，将模型与数据存储到

系统中，定时运行监控

第二步，设计建立存储数据模

型，将数据与模型映射起来

第一步：梳理各个数据源，

对用户所有数据采集

Hbase

用户结构化数据整合

数据采集

数据转换数据整合

数据抽取

P12

多源异构数据接入

结构化数据存储区

结构化数据

KHanHiveHDFS

非