大数据时代下的教育管理信息化建设实践与探索.docVIP

大数据时代下的教育管理信息化建设实践与探索 　　摘 要：本文在简单分析了当前学校信息化资源建设现状的基础上，简要叙述了大数据的基本概念和特征，分析了大数据技术中的Hadoop、Storm、Spark框架模型，结合大数据技术应用于校园网络安全管理中的应用实践，描述了实践的运行环境、管理功能框架和大数据平台技术框架，框架对大数据的其它应用有较强的借鉴价值。 　　关键词：教育信息化；大数据；网络安全；信息服务；数据处理技术 　　中图分类号：TP309 文献标志码：A 文章编号：1673-8454（2016）01-0046-03 　　一、引言 　　“十二五”期间，高校信息化建设进入了一个“跨越式”发展的阶段。硬件基础设施得到了进一步地提升，数字化业务系统功能不断扩展，极大地提高了教育信息化水平。随着云计算、物联网、移动互联、大数据处理等技术地快速发展，人类已经迈入了大数据时代，硬件系统以及业务软件系统背后产生的原始数据，数据量呈几何级数从TB 级向PB 级乃至ZB 级快速增长，如何发挥这些海量数据的隐藏价值，进一步提升教育教学管理信息化水平，是我们长期关注、思考的问题。在此背景下，研究大数据处理技术，对数据进行采集、整合处理、分析、挖掘研究，使原来分散、利用率低、不被注意的数据得以充分利用，为学校的教学管理、发展战略和决策支持提供科学的依据有重要的意义。 　　二、学校信息资源现状分析 　　随着学校软、硬件资源的增添，产生大量的数据，数据包含结构化、半结构化和非结构化的数据，大致包括以下来源： 　　（1）数字化软件系统：是学校各个应用系统，可以执行业务需要的分析并获取需要的洞察。软件系统大致包含统一认证平台、支付平台、移动平台、图书借阅、学工系统、教务系统、信息门户、各个网站、餐饮一卡通系统、网络认证系统等。 　　（2）数据管理系统：数据管理系统存储逻辑数据、流程、策略和各种其他类型的文档：Excel电子表格、Word 文档，这些文档可以转换为可用于分析的结构化数据。 　　（3）数据存储：数据存储包含学校数据仓库、操作数据库和事务数据库。此数据通常是结构化数据，可直接使用或轻松地转换来满足需求。这些数据不一定存储在分布式文件系统中，具体依赖于所处的上下文。 　　（4）智能设备：智能设备能够捕获、处理和传输使用最广泛的协议和格式的信息。这方面的示例包括智能电话、仪表设备。这些设备可用于执行各种类型的分析。绝大多数智慧设备都会执行实时分析，但从智能设备传来的信息也可批量分析。 　　（5）聚合的数据提供程序：这些提供程序拥有或获取数据，并以复杂的格式和所需的频率通过特定的过滤器公开它。每天都会产生海量的数据，它们具有不同的格式，以不同的速度生成，而且通过各种数据提供程序、传感器提供。 　　（6）硬件资源数据：大致包含常用的计算机、服务器、交换机、路由器、防火墙、无线控制器、无线AP、门禁道闸等，一般都是利用这些硬件的基本用途，例如：交换机的数据交换、路由器的路由交换链路互通，只关心网络畅通，可以进一步利用这些设备的日志信息，挖据深层的数据资源，为网络管理人员和学校职能处室提供分析决策。 　　（7）其它数据：视频资源、社交网络数据、登录Wifi数据以及入侵检测、防御设备、上网行为等设备分析到的数据，移动互联数据等。 　　三、大数据技术及实践 　　在维克托?迈尔-舍恩伯格及肯尼斯?库克耶编写的《大数据时代》中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理[1-3]。 　　目前使用较多的三个大数据处理工具是Hadoop、Storm、Spark，都是JVM上的语言写成的。 　　下面简单叙述我校如何将大数据技术应用于校园网络安全管理平台。 　　校园网络安全管理实验平台的功能架构如图1所示。 　　从图1可以看出，该平台需要搭建大数据的基础运行环境和数据管控平台，其中基础运行环境包含Hadoop基础运行环境、基于内存的迭代计算框架和基于流处理的计算框架；需要网络支撑平台和信息共享交换平台，数据的标准化与建模；数据的检索、关联融合、安全检测；数据可视化分析与显示、多系统融合数据的高性能分析，数据即服务产生可以抽取利用的信息存放到数据池以备基础运行环境检索使用。 　　实验平台的技术架构如图2所示，该架构包含了数据采集层，数据集成层、文件存储层、数据存储层、数据计算层、数据分析层和平台管理层。 　　实验平台采集到的数据包含应用系统数据、网络访问日志、各个网络设备的SNMP Trap信息、各个核心设备以及安全设备Syslog日志（包括IDS、Wireless AC、负载均衡设备、路由器、防火墙、上网行为审计设备等）、服务器访问日志、Snort信息、SFlow数据和Netflow数据以及