某县大数据中心大数据资源平台建设与应用解决方案.pdf

项目编号：

某县大数据中心大数据资

源平台建设与应用

解

决

方

案

项目编号：2022-XX-XX

编制单位：XX市XX中心

编制日期：二〇二二年二月

目录

1.1建设目标1

1.2总体设计2

1.2.1设计原则2

1.2.2总体架构3

1.2.3功能架构4

1.2.4技术架构5

1.3建设内容5

1.3.1数据汇聚建设方案5

1.3.2数据治理建设方案10

1.3.3数据管理建设方案29

1.4建设效果48

1.4.1全量化数据资产48

1.4.2可视化数据管理48

1.4.3多样化数据服务50

1.4.4高效数据应用开发54

1.4.5智能化数据监控56

第一章平台建设目标

结合某县全县的经济社会发展、社会治安总体状况和城市总体规划布局，以

服务公安各警种为出发点，建立数据资源池，部门间共享数据，全面提升信息化

应用效益，以云计算、大数据、人工智能等新技术为关键支撑，以服务业务应用

为根本目标，对多源、海量、异构、实时视频数据的接入、汇聚，实现数据标准

化、数据融合化、数据标签化、数据模型化等数据治理工作，为各部门提供标准

数据服务和增值数据服务。

具体目标：

1、构建模型驱动架构(MDA)的能力。支持业务化的模型设计和技术实例化，

实现模型、模型分层的联动以及集中化存储和管控，保障需求-设计-实现-运行的

一致性。

2、构建面向数据处理的统一管控框架。实现系统后台数据处理的业务透明

度，彻底杜绝技术实现的黑盒化，实现数据资产业务化的“可视、可管、可控”。

3、实现业务需求的快速响应。通过标准化的生产方式，最小化重复的体力

工作，提高开发效率，提升系统总体产能力。

4、实现数据处理过程中元数据、数据质量的统一管控。实现对元数据的强

制前向获取、规范性的数据处理、数据质量控制方法和技术管理手段，大幅细化、

下潜数据质量控制粒度，提升数据质量问题收敛速度。

5、实现模型和数据处理的标准化、规范化。通过标准化数据处理流程和代

码编写规范，对命名规则、分层模型进行统一管理，能够对数据处理过程的

元数据进行规范性、完整性、时效性检查控制，将数据标准和开发

管理规范100%落实到日常的数据处理开发和运维中。

6、构建自描述的知识系统。通过IT系统的技术手段保证数据处理经验的有

效传承，让有相关经验的人员在无人协助且无文档帮助的前提下可以快速理解和

掌握系统，降低人员的个性和流失带来影响。

7、构建可定制的扩展能力。提供灵活开放的接口层，让第三方可以不依赖

平台厂商和应用厂商的支持的前提下，独立完成各种开发管控和数据管控的用户

需求。

第二章总体设计方案

2.1设计原则

大数据中心建设遵循以下基本原则：

1、数据治理产品化

数据治理的成果和内容，必须落实到相应的产品来严格实现。这些成果和内

容不再是简单的文档和管理流程，而是要通过切实可行的IT手段严格落地。

2、数据处理工厂化

数据处理工作，包括但不限于数据输入、数据加工、数据输出等，必须实现

工厂化的建设和管理，以“极速、低成本、高质量”要求来响应海量的客户个性

化数据需求。通过实现数据处理全过程业务化的“可视、可管、可控”，让业务

人员可以参与数据处理的全过程，实现“需求-设