浅谈高校数据清洗与整合.docVIP

浅谈高校数据清洗与整合 　　摘 要： 针对我校信息化建设现状中最为突出的“信息孤岛”问题，从信息化建设的根本出发，构建面向高校服务的数据清洗与整合大平台，全面规范我校数据资源，让数据以高质量的形式呈现给使用者，从而突破“信息孤岛”并进一步打破“服务孤岛”。经过挖掘分析、清洗、整合后的校内各类数据为教育教学改革提供了各种服务，提升了我校信息化管理水平，为建设智慧校园提供了精准有力的工具。 　　关键词： 数据； 数据清洗； 信息化； 整合 　　中图分类号：TP393 文献标志码：A 文章编号：1006-8228（2017）08-39-03 　　Abstract： Aiming at the predominant problem of information island existing in the current situation of our university informatization， starting from the basic of information construction， the service oriented platform for university data cleaning and integration is constructed， which comprehensively regulates the data resources of our university， provides the users with high quality data， so as to break through the information island and further break the service island. After mining， analyzing， cleaning and integrating， a variety of campus data provides various services for the education and teaching reform， which effectively improves the information management level in our university and offers accurate and powerful tools for the construction of smart campus. 　　Key words： data； data cleaning； informatization； integration 　　0 引言 　　数据已成为诸多行业的重点研究对象，多元数据具有非常重要的社会价值。当前正在使用大数据的案例大部分集中于社会商业领域和公共管理部门。相比之下，高校的数据在多元性方面还远不及上述领域的数据。校园一卡通系统是高校内产生数据量最多的应用，根据存储统计，其交易数据量可以达到几百个G，但距离P（即100万G）量级的数据规模还有相当大的差距。从数据多样性角度来看，高校数据种类繁多，类别丰富。大数据的思想和技术对于高校的信息化建设将起到非常重要的作用[1]。数据能够为高校带来价值，有利于高校的发展和创新。 　　1 高校信息化现状 　　在大数据背景下，高校的IT资源现状和支撑条件已无法满足实现大数据应用的要求[2]。处于信息化建设不同阶段的高校，都普遍存在着“信息孤岛”的问题[3]，具体包括：基于应用本位的理念导致从管理思维出发建设了诸多应用系统；前期缺少信息化整体建设规划，从而因应用系统建设时期的不同导致各部门信息化水平和程度的参差不齐；系统的版本有新有旧，人员对信息化的认知程度千差万别。早期搭建信息化平台的高校，都在不同程度上存在着各种各样的数据质量问题，如数据繁杂异构导致系统架构不同、数据种类繁杂缺乏融合等[4]。 　　2 应对措施 　　我校在前期的信息化建设中，搭建了数字化校园基础平台，完成了部分资源的共享互联工作。随着业务部门应用系统的增加，以及对信息化需求的不断扩充，大量教学、科研、人事、行政、后勤管理等方面的业务数据资源日益积累下来。在保证学校原有IT资源的前提下，我校对这些数据资源进行充分合理的利用，通过数据治理的手段，采集全面有效、权威准确的信息数据，形成服务资源，分类型存储在数据仓库中，对这些数据进行了挖掘和分析，由此形成了如图1所示的高校数据结构图。据此搭建基于数据标准的元数据库，以数据标准作为元数据的约束，继而以元数据为基础形成全校的核心数据库。 　　信息化应用不论建于何时，数据量都是在不断地补充和丰富的，数据种类也是在不断的更新和变换之中，这些数据包括历史数据、新?稻荨⒅魇?据、业务数据等[5]。采用面