大数据数据治理平台技术白皮书.pdf

大数据数据治理平台

技术白皮书

目录

1用户面临的挑战4

2核心价值5

2.1更全面的数据质量保障5

2.2全景化的信息开放与检索5

2.3可信赖信息安全5

2.4更低的实施成本5

3功能介绍7

3.1大数据标准管理系统7

3.1.1目录标准7

3.1.2数据元管理12

3.1.3数据字典管理16

3.1.4段码管理21

3.1.5信息类管理24

3.1.6资源检索27

3.1.7业务配置29

3.2大数据质量管理系统32

3.2.1数据库配置32

3.2.2数据规则配置33

3.2.3数据规则库36

3.2.4数据映射关系配置37

3.2.5任务调度39

3.2.6任务监控40

3.2.7问题数据治理41

3.2.8资源监控管理42

3.2.9质量统计分析44

3.2.10数据管理45

3.3大数据资源管理系统47

3.3.1数据库配置47

3.3.2数据管理48

3.3.2.1数据台账48

3.3.2.2网盘50

3.4大数据开放服务系统52

3.4.1在线服务开发及发布52

3.4.2服务调用认证52

3.4.3服务监控52

4软硬配置53

5项目列表55

1

1用户面临的挑战

传统的数据治理是面向结构化或者可定义的非结构化数据，管理的是同类型属性或连续

的数据集。而大数据特点是混合数据，如文件、视频、报表、GIS、位置等。存储并非

在一个站点，数据的所有权与地理分布属于多个机构的资源中，系统规模大、存储复制，

采集转换过程复杂。数据按照特定的规则采集后，无法直接转换为信息乃至知识。而知

识和信息是我们进行大数据应用的必要途径。如何行之有效的将无定义的数据快速转换

为应用类知识，是面向数据应用的核心难点。

四方伟业数据治理产品就是在数据交换汇集解决上述问的一个行之有效的解决方案，是

四方伟业根据10余年只各行各业集成交付经验、抽象、归纳多种应用场景，而推出的

一套基于不同行业的、不同应用的数据治理产品。通过浏览器访问的数据标准工具建立

数据标准制，制定数据管理流程形成数据台账。通过数据质量提升工具，快速发现数据

问题、快速定位问题原因、快速解决问题现象。在数据变更时，通过血缘分析进行实时

预警。在数据流转过程中提供事前、事中、事后审核。它能够帮助用户快速构建基于

Hadoop架构大数据数据集市，并进行全方位的开放与检索，尤其适合政府、企业。

2

2核心价值

2.1更全面的数据质量保障

提供数据标准梳理工具，使得元数据更合规

支持策略集的质量巡检方式，保障数据的完整性

2.2全景化的信息开放与检索

支持主题的数据台账，

基于元数据的信息管理，提供数据资源目录与导航

多渠道的数据访问机制（目录、API、Webservices）

2.3可信赖信息安全

支持交换全过程监控、审计，并提供邮件、短信预警功能

基于oAuth协议的第三方单点登陆集成的模块

支持通道安全，支持SSL传输通道加密功能

支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理