教育大数据分析研究及典型应用-精选教育文档 .pdfVIP

-.

教育大数据分析研究与典型应用

开展大数据的研究已经成为我们国家今后创新驱动的一

个重大的战略举措。数据的积累已经从量变开展到了质变。另外

一方面计算机超强的计算能力也为处理大数据提供了强大的技

术支撑，这两者的结合使得大数据的智能分析成为我们现实可

能。分析各个领域的大数也正是各个领域各个行业的新的重大需

求，拥有大数据成为我们这个时代的特征，分析大数据自然也成

为我们这个时代最鲜明的任务，应用大数据也是我们把握商机把

握研究时机的重要机遇。

研究和应用面临三大挑战

我们根本目的是从大数据中挖掘出价值。从政府角度来说，

要进展大数据的有效管理，制定包括平安在的各种公共政策，这

就是政府要作为，从数据的获取、标准、规、平安、保障等等方

面研究。作为高校和科研院所来说，最核心的是要进展大数据的

分析和处理，也就是智能化的挖掘、关联、融合、算法分析这些

核心技术的探索和研究。作为企业界来说，要结合各自的领域，

开展大数据的应用挖掘以及融合应用。所以说我们要形成一个数

据是根底、平台是支撑、分析挖掘是核心，最根本的是要实现目

标导向、问题驱动，实现效率的提升和经济效益社会效益的挖掘

和发挥。

世界顶级大国都把大数据核心技术的研究作为未来抢占大

.word.zl.

-.

数据产业自主知识产权的一个核心制高点来探索研究。第一从理

论和技术角度来看，传统的计算理论和传统的数据处理分析技术

难以完全适用。一方面是大数据和传统的中小规模的数据有本质

的特征上的差异。第二在传统的计算平台计算式方面也有根本性

的转折。我们知道传统的数据量是中小规模，现在都是ZB级，

10的18次方超大规模的数据量。从数据的构造来说，从传统的

构造化朝大量的非构造化方向开展，从过去以静态为主朝着流数

据开展，从单一的数据源朝着多元异构的方向开展，从多媒体朝

着跨媒体融合的方向开展。这些数据特征的变化使得我们传统计

算理论难以适应。从计算平台和计算式来说，从过去的集中存储

向现在的各地多数据中心的分布式存储方向开展，从多线程并行

朝着多机协同的方向开展，从存储和计算相别离朝着数据和计算

严密深度融合的方向开展，从计算密集型或者数据密集型朝着两

者混合的密集型方向开展，从静态全量计算朝着动态流式计算的

方向开展，这些变化都是大数据分析中将要面临的理论和计算方

面的挑战。在大数据分析与处理方面核心技术严重缺乏，我们熟

悉的大数据处理核心技术的底层的核心软件、核心系统，像

Spark、Hadood、Hbase这些著名的开源商用软件几乎全是被国外

垄断，我们国家在这个领域缺乏自己的自主知识产权。第三，难

以适配工程化应用的需求，比方大数据算法在工程化技术方面还

处于根本空白状态。我们虽然有很多好的大数据算法和核心技

术，但是应用到实际当中工程方面的适配还处于空白或者盲点。

.word.zl.

-.

另外缺乏适用于大数据分析的工程化工具和快速的部署手段，核

心技术与产业需求存在缝隙，缺乏面向行业的智能大数据决策支

持工具和成熟的工程化解决方案，这些方面都是我们今后研究的

重点和难点。

交通大学申请到了大数据分析技术国家工程实验室，在大数

据的根底算法、核心技术、数据产品研制、行业工程应用特别是

高端人才培养方面打造国一流的科研和人才培养的平台。

教育大数据的研究应用

下面介绍一下国家工程实验室过去几年在教育领域大数据

的研究应用方面所做的工作。

第一，省高等教育大数据平台的研究与应用。交通大学为全

省建立了高等教育大数据的会聚分析和应用的数据中心，可以把

全省所有高校的办学状态数据、政府管理部门的各方面的教育统

计数据以及互联网上发布的有关教育的数据会