基于数据挖掘的高校学生信息海量数据处理.docVIP

基于数据挖掘的高校学生信息海量数据处理 　　摘要：随着高校学生规模的日益扩大，学生信息的数据激增，在学生信息管理中，如何处理海量数据是每个学生管理者非常关心的问题；该文提出了利用数据挖掘方式首先对数据进行预处理，然后根据缓存页面分页算法来处理海量学生信息，在实际处理数据时，具有很高的参考价值。 　　关键词：数据挖掘；决策树；关联性规则；页面分页算法 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)24-5823-03 　　Dealing with College Students Date Based on Date Mining 　　SUN Sheng-yao,NIE Li-ying 　　(Soft College of Henan University, Zhengzhou 450008, China) 　　Abstract: With numbers of the college students increasing and information of students increasing, how to deal with these date is the key problem which student manager cares about. This article comes up with a method: firstly, dealing with date promisingly based on date mining, then dealing with huge information about students according to cachealgorithm. In fact, it is valuable in dealing with date. 　　Key words: date mining; decision trees; connected rules; cachealgorithm 　　近时间来，随着高校的扩招，学生规模日益扩大，导致在高校工作中出现了诸多问题，尤其表现在学生管理工作中；高校工作管理者为提高工作效率，需要常常处理大量的关于学生的数据，这些数据有着非常大的查询和分析价值。但随着数据量的增大，对于如何处理海量数据查询效率的问题，已经迫在眉睫；这些数据主要是学生的基本信息以及从基本信息中衍生出的伴生信息，这些数据之间存在着一定的联系，在其中蕴含着一些经分析后的一些重要信息，如何将信息快捷处理，并少产生冗余数据，是每个学生管理者关心的问题。近年来数据挖掘技术运用越来越广泛，若将数据挖掘技术运用于学生管理工作中海量数据处理中，通过数据挖掘技术，搜集分析学生信息中数据的各种特征和相互关系，有助于减少学生工作者的分析数据的工作量，从而提高管理工作的质量和效率。 　　1 数据挖掘 　　数据挖掘（Data Mining）是从大量的无关数据中，得出潜在的、有价值的知识（模型或规则）的过程，是一种数据深层次的分析方法。数据挖掘是一门交叉性学科，其包括机器学习、神经网络、数据库、模式识别等计算机学科方面的知识，又包括数理统计、粗糙集、模糊数学等相关数学方面的学科知识。数据挖掘过程经过数据收集、数据处理、数据变换、数据挖掘、模式评估、知识表示一系列的过程。该过程不是一次完成的，其中的一些步骤或整个过程都是经过数次数次或反复进行的。进行数据挖掘的非常多，比较常见的有：关联规则方式、多层次数据汇总归纳方式、决策树方法方式、神经网络方法方式、正比例覆盖排斥反例方式、粗糙集方式、遗传算法、公式发现、统计分析方法、模糊论方法、可视化技术等[1]；以上诸多方式中，以下几种方式比较适合于高校学生信息海量数据处理。 　　1) 关联分析。关联规则挖掘是数据挖掘处理数据的重要方式，也是最常见的一种技术。 　　关联规则描述的是存储在数据库中数据数据项之间的潜在关联。其理论来源于现实生活中市场购物篮物品分析模型，目的是通过分析购物篮内物品，得出顾客购买物品方式；现在关联性原则不在局限于分析消费者潜在的购物模式，已经拓展到诸多领域内，例如学生管理工作，通过分析学生几个学期内的学生表现，得出适合学生的最佳学习模式等等。 　　2) 分类与预测。分类是将数据根据某种数据分类原则，将大量数据划分到若干个类别中的某一类别中，减少数据的分析量。 　　分类预测一般分成两个步骤：第一步，构造分类器，利用构造所得的分类器对数据进行分类；分类其实是一种指导数据学习的过程，将数据置放于已知的样本训练集中，并且这些类别是根据模型预先设计好的，个数是确定的，目的是将分类的模型用于下一步的预测中；第二步，预测；预测是根据源于的模型和经学习训练的模型对未知的数据和数