大数据中心资源平台建设方案.docx

大数据资源平台建设方案V

第PAGE353页共NUMPAGES353页

大数据资源平台建设方案

目录

TOC\o1-6\u1资源平台建设方案 6

1.1平台总体架构 6

1.2数据交换子平台建设 6

1.2.1建设方案概述 7

架构设计 7

1.2.2数据交换配置 8

1.2.3数据交换前置 9

1.2.4数据共享服务 10

数据服务注册 11

数据服务申请 11

.1服务申请 11

.2申请审核 11

.3申请查看 12

.4申请撤销 12

数据服务监控 13

1.2.5数据共享接口 13

1.2.6数据交换监控 14

1.3数据治理子平台建设 15

1.3.1建设方案概述 15

平台整体架构 16

平台技术架构 17

1.3.2建设数据资源中心 18

1.3.3资源目录管理 19

资源梳理 19

资源编目 21

目录提交 22

目录审核 23

目录发布 23

汇总管理 23

目录导出 23

资源挂载 23

1.3.4数据标准管理 24

数据标准管理规范 24

数据项标准 26

数据维度标准 27

数据字典标准 27

数据命名标准 28

1.3.5元数据管理 29

元数据管理内容 29

元数据管理分类 29

元数据管理组织 30

元数据管理流程 30

元数据管理功能 31

1.3.6数据质量管理 34

质量模型配置 34

质量规则管理 35

方案配置调度 36

质检结果查看 37

质检分析报告 38

1.3.7数据开发平台 38

数据开发能力 38

.1数据源适配 38

.2数据清洗 39

.3数据转换 39

数据开发平台 39

1.3.8统一调度管理 40

时间调度 41

事件调度 41

调度运行 42

任务监控 43

任务调度 43

1.3.9数据资产管理 44

数据资产注册管理 44

数据资产分类管理 45

数据资产目录管理 46

数据资产可视化视图 47

1.4数据资源门户建设 50

1.4.1门户首页设计 51

1.4.2统一用户管理 51

1.4.3统一认证授权 52

身份认证 53

用户授权 53

1.4.4整合资源管理 54

1.4.5统一审批管理 55

1.4.6资源目录服务 55

1.4.7统一消息管理 56

消息类型管理 56

消息渠道管理 56

通用规则管理 57

用户自定义规则管理 57

消息过期 57

消息发送处理 57

1.4.8统一日志管理 58

日志审计管理 59

安全日志统计 60

1.4.9统一监控运维 61

监控资源管理 61

基础资源监测 63

应用服务监控 63

监控告警管理 64

平台运维管理 66

资源平台建设方案

平台总体架构

区级大数据资源平台的总体架构由支撑体系（标准规范支撑体系、管理运行维护支撑体系、安全支撑体系）、网络系统、信息资源平台软硬件系统环境、平台应用系统（数据支撑底座、数据交换子平台、数据整理治理子平台、数据资源门户），以及数据资源中心（数据湖、基础库、主题库、专题库）组成。具体平台架构如下：

数据交换子平台建设

建设全区统一的数据数据交换子平台，形成公共数据归集、交换、共享的核心枢纽；打通全区各单位之间数据资源共享通道，实现双向数据互通。

建设方案概述

通过本项目数据共享交换平台建设，构建XX区数据共享交换体系，推动政务数据的跨层级、跨地域、跨系统、跨部门、跨业务的共享利用，为公共基础库、业务主题库，提供底层数据支撑。

XX区数据交换系统基于电子政务云搭建，为全区数据管理部门提供云端的数据共享交换服务的统一平台，可实现部门前置节点与政务云中心节点间、部门与部门间稳定可靠的双向信息传递。

架构设计

鉴于数据源应用的异构平台、异构系统接入的复杂性，数据共享交换平台建设应统一技术架构、统一接入标准规范（包括技术规范、接入规范、管理规范、运行规范等），同时既要充分考虑系统的安全性、可扩展性，又要充分考虑数据交换的实时性、可靠性和高效性，实现各系统数据的采集、同步、筛选比对等业务功能目标。

因此，本次数据共享交换平台建设将充分利用信息化手段，采用当前主流的技术标准，主要包括数据库技术、数据集成技术、消息中间件、SOA体系架构等技术，采用组件化和松耦合的设计思路，实现统一平台架构、统一技术标准、统一数据接口。数据交换子平台建设围绕数据资源的采集交换、数据传输、交换监控流程进行，以保证