199-大数据平台及数据治理整体方案.docxVIP

PAGE16

大数据平台及数据治理

整体方案

目 录

TOC\o1-3\h\z\u1. 总体说明 4

1.1. 概述 4

1.2. 目标 5

2. 数据平台 5

2.1. 平台设计思路 6

2.2. 平台设计原则 8

2.3. 平台设计特性 9

2.4. 平台架构设计 10

2.5. 平台技术架构 11

2.6. 平台业务架构 12

2.7. 平台管理体系 14

2.7.1. 数据源管理 14

2.7.2. API管理 16

2.7.3. 应用管理 18

2.7.4. 平台运行监控管理 19

2.8. 开发者 22

2.8.1. API数据集市 22

2.8.2. 新手开发指南 32

2.8.3. API授权机制 41

2.8.4. API开发指南 41

2.9. 平台其它特点 49

2.9.1. 数据与应用的解耦合 49

2.9.2. 平滑升级和弹性可扩充 50

3. 数据治理 52

3.1. 概述及目标 52

3.2. 数据治理建设原则 53

3.3. 数据治理体系 53

3.3.1. 总体框架 53

3.3.2. 组织架构 54

3.3.3. 系统架构 56

3.3.4. 系统边界 58

3.4. 数据治理模块 60

3.4.1. 数据标准管理 60

高校大数据平台数据标准管理 61

原经营分析系统数据管控 61

3.4.2. 元数据管理 72

3.4.3. 数据质量管理 75

3.4.4. 数据资产管理 82

3.4.5. 数据安全管理 87

3.4.6. 数据集成管理 91

3.5. 实施规划 92

3.5.1. 实施内容 93

3.5.2. 实施保障措施 106

4. 数据服务 108

4.1. 个人数据综合服务 109

4.1.1. 教师个人数据中心 109

4.1.2. 学生个人数据中心 114

4.2. 智慧校园服务 119

4.2.1. 公共资源使用情况分析 119

4.2.2. 个人数据报告 119

4.3. 学生异常行为分析及预警 120

4.3.1. 晚归行为预警 120

4.3.2. 异常离校预警 121

4.3.3. 消费行为预警 124

4.3.4. 学业异常预警 125

4.3.5. 心理健康预警 126

4.3.6. 预警信息查阅 126

4.4. 学校重点工作分析 129

4.5. 综合校情分析系统（领导驾驶舱） 131

4.5.1. 就业信息统计分析 132

4.5.2. 教学信息统计分析 133

4.5.3. 消费信息统计分析 133

4.5.4. 学生上网行为分析 134

4.6. 外部声誉监测与预警系统 134

总体说明

概述

目前，高校信息化建设取得一定成就，建设了稳定畅通的校园网及一些基础的网络服务，信息化基础建设基本完成。学校及职能部门自身非常重视信息化建设，人、财、物各方面都有了一定的投入，制定了中长期规划，信息化的内容建设逐渐丰富，完成了学校校园网主页建设，各院部处网站建设，开发或购置了部分业务管理信息系统，如人事管理系统、教务系统、科研系统等，但由于这些系统都非校级架构，设计及技术架构不统一，数据标准不一致，造成信息无法共享，影响了部门间的协作。其次，还有部分业务部处急需相应的信息系统解决目前的问题。此外，随着大量机器设备的应用，产生了海量的日志类数据，记录了校内群体详细的行为数据，这些数据中蕴含了巨大的价值，而现有的数据基础架构无法对这些数据进行存储、处理和分析。

因此，学校需要构建一个统一的数据管理平台，在架构上能满足将学校现有的多源异构数据进行统一存储，通过一套统一的数据标准对这些数据进行治理和规范化处理，纳入到数据平台的管理体系中，统一对外提供数据服务，为将来的数据应用和数据挖掘分析提供稳固的基础。

目标

高校大数据建设总体框架

如上图所示，此次大数据建设方案分为三个主体，分别是数据治理、数据平台和数据服务，其主要功能描述如下：

数据治理：制定统一的标准和规则，完成对学校现有数据的梳理，包括数据的集中化、数据质量、数据安全等方面，从软件层面解决学校数据资产管理的问题。

数据平台：从硬件架构层面构建一个统一的平台体系，涵盖传统的关系型数据库和当前以Hadoop为基础的分布式数据存储技术，用以支撑学校内外部多源异构的海量数据存储与计算。

数据服务：在数据平台和数据