教育大数据之数据集成系统.pdfVIP

教育大数据之数据集成系统--第1页

项目，需要在3个月里完成一个大数据平台的开发，用于项目的交付，

这个任务交给你了，加油搞！此刻的我：搞？搞事情啊！由此我开始了

数据平台的“闯关之路”，遇到的第一个boss就是数据集成系统……

01什么是数据集成？

百科里的解释是：把不同来源、格式、特点性质的数据在逻辑上或物理

上有机地集中，从而为企业提供全面的数据共享；通俗讲就是把分散在

各个系统中的各种类型的数据统一汇聚起来，主要体现在一个“集”字。

而数据集成系统就是提供数据集成能力的平台，是一站式解决异构数据

存储互通，消除数据孤岛的同步平台，为大数据各系统和业务方提供数

据集成的高效通道。

拿现实中的实例类比来说，数据集成就好比把各种粮食通过不同的管道

灌输到一个大粮仓中，这些管道就是数据集成系统，我们可以支持接入

各式各样的粮食，小麦、玉米、大豆等等，同时支持在这些管道中加一

些滤网，比如在大豆的管道中加上5mm的滤网，此时从大豆管道过来

的粮食只有5mm以下的大豆，这就相当于数据集成系统中的数据过滤

功能；这个粮仓相当于集成目的，我们把数据集成进来之后存储在这里，

供其他各方消费。

教育大数据之数据集成系统--第1页

教育大数据之数据集成系统--第2页

教育为什么要做数据集成？

1.数据大爆炸

处不在、无孔不入，每天在我们所生活在的这个世界出现了大量的信息，

教育场景下也不例外，随着各种信息化系统的涌入，信息以空前的速度

增长，教育从业者体验着信息时代便捷的同时，也给他们带来了问题和

“副作用”，从浩如烟海的信息海洋中迅速而准确地获取他们最需要的

信息，变得非常困难。

2.数据来源多样化

随着《教育信息化2.0行动计划》的提出，教学过程中的信息化系统越

来越多，比如作业系统、考试系统、选课系统、智慧课堂等等，每个系

统都会产生大量的数据，存储在各自的数据库中，如果系统的服务商不

同，可能数据的格式也不一样，致使教育场景下的数据越来越多，越来

越难以管理。

3.数据集不同结构

教育场景下的数据集可能是结构化的、半结构化的，甚至非结构化的；

比如：考试系统中的数据是结构化的，评价系统中的数据是半结构化的，

课堂实录中的数据是非结构化的；不同结构的数据需要整合成统一的结

构才能够进行统计和分析。

教育大数据之数据集成系统--第2页

教育大数据之数据集成系统--第3页

数据冗余

据分析的效率和结果；在这种情况下需要我们配置统一的标准，对数据

进行简单的处理，以便于后续进行统计分析。

03数据集成系统对教育的价值是什么？

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，按照科学

的教育评价准则，对教学数据进行科学的统计分析，提供有价值的教学

质量测评与分析数据，实现对教育活动，教育过程和教育结果的价值评

判，为提高教育质量，教育决策以及学校改进日常教学方法提供科学的

依据，实现教育管理的智能化，提升教育管理与服务水平。

数据集成系统作为底层基础支撑性服务，是大数据系统的核心组成部分。

通过提供数据集成能力，将教育各部门和来自互联网的结构化和非结构

化的数据进行统一的汇聚接入，存储到大数据存储组件，并支持数据的

预处理，为大数据系统提供原始数据支撑。

04数据集成系统怎么做？

1.建设原则

数据采集系统针对实际项目中复杂的、异构的数据环境，实现对多种数

据源的集成，支持的关系数据库有Oracle、MySQL