一体化智能化公共数据平台需求说明.pdfVIP

一体化智能化公共数据平台需求说明

（一）一体化智能化公共数据平台

一体化智能化公共数据平台项目，主要包含前期需求采集、方案设计等项目初期工

作，包括平台开发部署、算法模型设计、数据清洗治理，历史数据挖掘，数据计算等项

目中期实施工作，再到部署交付等项目后期工作。

（二）功能要求

1.一体化智能化公共数据平台

分类功能要求及描述

1.平台管理升级。数据平台支持Rangr、LDAP等组件控制数据权限，支持

库、表权限控制。项目空间支持一个项目自由切换多个产品（离线、实

时、API）统一管理各类共性信息。。

2.数据资产扩充。数据标准方面，基于一期的数据标准，二期对整体数据

标准进行扩充。数据服务平台集成统一身份认证，实现单点登录。提供

系统公告能力，对一些基础表结构变更、平台升级等事项提供更方便的

通知方式。数据资产平台完整链路将通过一张图可以完整展示出来。增

加数据元数据变更提醒提供短信等多种方式。对数栈CDM层扩充，增

公共数据

加微计算、微服务。

平台

3.消息管理。数据服务平台提供短信消息提醒功能。数据平台提供消息管

理功能，支持Topic创建、删除、监控等功能。

4.数据纠错研判。提供数据纠错联动功能，发现的数据问题，直接通过消

息提醒方式通知源头的数据管理员针对有问题的数据进行修复。基线告

警，任务发生错误、延迟等情况时，自动预判，并提前发出告警，提醒

用户即使处理异常，保障数据产出。告警列表，管理可以查阅所有已告

警所有时间，并能查阅具体告警内容。

5.数据安全管理：数据API加入国密传输，同时整个平台及本期建设数据

资产管理子系统的密码存储、加密均会采用统一的国密算法加密。对数

据源授权进行细分控制，对数据源可以授权到具体某一个项目，将数据

源指定到项目粒度。

6.网办数据迁移。老网办数据迁移到新网办，约300种服务类型，全部通

过api接口方式迁移，需敏捷提供每种服务类型返回的结果数据的完整

key值。对于老网办的所有数据集统一开发一个数据输出接口，服务类

型作为入参参数，新网办采用轮训方式对接口进行调用，将返回的数据

结果进行转换及处理，并写入至新网办数据。

7.数据标准扩充：对整体数据标准进行扩充。需要对学工、学科类等非教

育统计报表数据标准进行修订，完善统计类数据标准。数据标准扩工作

包括对指标进行梳理、确认、确权、发布操作。

1.调研并获取主题数据仓中所有指标统计口径和基础数据层对应数据表，

根据最终确认统计口径和数据源，同步基础数据表至主题数据仓中，并

设计数据指标模型（维度、事实表、周期），进行转换指标开发，生成

主题数据仓中所需要的原子指标及衍生指标，并完成数据服务平台任务

发布。

2.党建引领主题数据仓。从一期基础数据中提取党建相关的所有明细数

主题数据据，基于明细数据建立党建队伍、党建活动、党建研究、党建惩罚类主

仓建设题数据模型，根据确认好的指标统计口径、开发维度表及相关事实表，

完成主题数据仓的原子指标及衍生指标开发工作，并完成所有指标任务

发布工作。

3.办学资源主题数据仓。从一期基础数据中提取办学资源相关所有明细数

据，同步至主题数据仓中，并根据办学设施、办学平台、办学经费关主

题数据模型，设计并开发