2022数据中心平台技术方案.docx

数据中心平台技术方案

2021

数据中心平台

数据中心平台

PAGE

PAGE10

目录

一、 系统架构 3

二、 技术路线 4

建设内容 4

核心技术 4

三、 实施方案 11

(一) 数据标准 11

(二) 中心数据库建设 11

基础数据库 11

基础数据库建设过程 11

创建子集表及sql语句 15

基础数据库优化 25

业务库建设 29

(三) 中心平台 30

中心平台技术架构 30

中心平台功能 35

一、系统架构

云数据中心整体架构中，分为基础硬件层、业务数据交换层、数据云服务管理平台、应用层。基础硬件层由服务器、存储器和路由器等硬件设施组成。业务数据交换层通过统一的数据业务交换标准，实现数据云服务中心和子系统之间的交换。数据云服务管理平台除了为应用层提供软件的支撑平台之外，还通过互联网向用户直接提供软件开发平台。应用层直接为用户提供应用，不同类型和部门用户可在此层定制和修改需要交换的服务和数据。

二、技术路线

建设内容

以国家教育行业标准-教育管理信息，高等学校管理信息（JY/T1006—2012）为基础，设计并制订了符合我院实际的数据集和数据规范。数据集共包含了覆盖学院事业发展的十大领域，包括：学生管理数据子集、教学管理数据子集、教职工管理数据子集、科研管理数据子集、财务管理数据子集、资产与设备管理数据子集、办公管理数据子集、外事管理数据子集、档案管理数据子集。

完成功能

可以生成创建数据库和数据表的标准SQL语句，可以导入至Oracle或SQLServer

等主流数据库管理系统中。

要求建立数据之间的实体关系，形成具有约束关系的数据库整体。

提供统一用户界面，可供不同角色、不同权限的用户下载数据，支持指定字段的

Excel导出；

在教师、学生基础信息库基础上建立基于RBAC（基于角色的访问控制）的用户访问模型，关联用户、角色和权限，其他业务应用只需要简单配置即可直接调用权限数据；

提供数据查询、访问的统一接口，可以为其他应用程序提供方便的数据调用接口；

可根据需求，选择字段生成指定名称的视图，供其他应用程序访问。

核心技术

数据采集

数据采集规则

云数据中心交换平台涉及的相关数据项都应源于各业务系统或自建系统的数据，其他非权威数据不做采用。

云数据中心交换平台提供统一的数据采集服务和交换接口服务，按需定制数据采

集模板，按需采集和交换数据。

无自建系统数据采集，将会提供统一的标准数据采集表格，使用数据交换平台采集数据。

数据采集流程：

自动采集流程

数据流云数据中心数据交换平台通过ETL过程，将数据抽取到云数据中心交换平台。交换流程如下图：

数据流

部门数据库

数据流

数据流

数据流部门数据库

数据流

ETL过程

云数据中心业务数据库

ETL过程前置机数据库

ETL过程

前置机数据库

云中心交换平台

云中心交换平台

前置机数据库

前置机数据库

人工采集

业务部门无自建系统采集流程，需要按照制定的数据采集标准表格，由专人将数据录入到云数据中心数据交换平台。

数据交换

数据交换平台总体框架

数据交换平台主要提供数据交换、数据共享等功能。数据交换平台功能架构如下图：

soap协议

soap协议

数据传输

数据抽取

监控、管理

云数据中心

数据库

数据管理

数据层

中心交换管理

交换传输子系统

前置交换子系统

前置交换接口

业务系统数据库

数据交换平台分为前置交换子系统，交换传输子系统，中心交换管理子系统。数据交换平台通过前置交换子系统发布webservice接口，提供业务系统数据标准。由交换传输子系统将数据传输入综合数据库，中心交换管理子系统主要实现对前置交换子系统的配置管理，对交换传输子系统的流程进行监控、管理，对交换数据进行统计分析，对综合数据库的数据进行查询，对标准数据集、数据库进行管理。综合数据库通过交换传输子系统将数据与门户服务层交互，从而实现门户服务层对数据的展现及分析。

数据交换方式

基于WebService接口调用方式

数据接收方提供WebService接口服务。数据提供方开发相应的接口程序，访问数据接收方提供的数据上传接口，并通过该接口上传数据。

基于数据库推送方式

数据提供方通过前置机的方式，将运行过程中产生的各类数据推送至前置机数据库。数据接收方定时到前置机上获取数据进行汇总。

ETL工具

ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。(1)数据抽取：从源数据源系统抽取目的数据源系统需要的数据；

数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的

形式，并对错误、不一致的数据进行清洗和加工。

数