KDDcup2015数据集研究.docVIP

KDDcup2015数据集研究 　　摘要：KDDcup2015数据集提供了学堂在线半年内39门课程的部分时段学习行为信息，主要用于学生翘课行为预测研究。翘课行为反映了幕课的质量问题，也是在线教育的核心问题之一。该文通过对数据集的详细分析，解读了KDDcup2015数据集的格式和内容，介绍了数据分析的工具和平台，并通过实例展示如何将原始数据转化为有机的字典数据，以利于进一步的特征建立和机器学习。总结了数据集的不足和可能的影响，为同类数据集的建立和应用提供了依据。 　　关键词：KDDcup2015；幕课；翘课；Python 　　中图分类号：TP181 文献标识码：A 文章编号：1009-3044（2016）35-0005-03 　　KDD是数据挖掘与知识发现（Data Mining and Knowledge Discovery）的简称，KDD CUP是由ACM（Association for Computing Machiner）的 SIGKDD（Special Interest Group on Knowledge Discovery and Data Mining）组织的年度竞赛。 　　学生的高辍学率成为MOOC平台最核心的问题，也是在线教育的核心问题之一[1-3]。对辍学的了解和预测可以很好的维护和促进学生的学习活动。因此，KDDCup2015的题目为：对中国最大的MOOC平台之一学堂在线的辍学行为进行预测。通过对数据集的解读，根据用户之前的行为，对他在接下来的10天内是否会翘课进行预判。 　　由于在线教育的盈利要求，目前极少有完整的系统的在线教育公开数据，在线教育公开数据极其稀缺， KDDcup2015[4]数据集有极高的研究和应用价值。通过对KDDcup2015数据集的分析和研究，提出了数据的分析方法和手段，为进一步的数据挖掘[5]或机器学习[6]过程做铺垫。 　　1 数据集基本情况 　　数据资源有五个文件，均为CSV格式，如表1所示。CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。最广泛的应用是在程序之间转移表格数据，而这些程序本身是在不兼容的格式上进行操作的（往往是私有的和/或无规范的格式）。因为大量程序都支持某种CSV变体，因此在实践中，CSV文件还是非常方便的。 　　下面分别解释关键表中字段的含义： 　　1）object.csv -在这个文件中的每一行描述了一个课程中的模块，包括它的类别，它的子模块，以及发布时间。这些模块可能代表的课程的不同部分，例如章，节，在线视频材料、习题等。模块被组织成树型结构，每个课程包含几个章节；每章包含几个部分，每个部分包含几个对象（视频、习题等）。 　　- course_id -课程号 　　- module_id -模块号 　　- category ?C模块种类 　　- children -模块的子模块 　　- start -模块向学生开放的时间 　　2）enrollment_train.csv ?C每一行表明某用户参加了某课程。 　　- enrollment_id ?C注册号 　　- username -学号 　　- course_id -课程号 　　3）log_train.csv ?C每一行都是一个“事件”的日志行为记录。每条记录包含以下信息： 　　- enrollment_id -注册号 　　- time - Time of the event.（事件）操作发生的时间 　　- source - Event source （server or browser）.（事件）操作的资源 　　- event -在事件类型方面，定义了7种不同的事件类型： 　　problem -做作?I 　　video -看视频 　　access -读取课程的除了视频和作业外的其它对象 　　wiki -读取课程的维基百科 　　discussion -论坛讨论 　　navigate -浏览课程其它部分 　　page_close ?C关闭网页 　　- object -读取或浏览的对象 　　4）true_trian.csv ?C每行包含一个注册号是否翘课的信息。 　　-第1列 ?C注册号 　　-第2列 ?C是否辍学（离散类型，0表示辍学事件，1表示持续学习） 　　这些文件中的主要对象及关系如图1所示。 　　2 样本分析 　　KDD2015数据集一共包含的39门课程，每门课程的学习信息都是开课后的一个月，总的时间跨度为半年。图2和图3显示了训练集和测试集中不同时间点上的日志分布。通过比较可以看出，在春节期间的日志数量极少，说明放假后学生基本不参与学习。另外，训练集和测试集的数据分布高度相似，使训练集上的应用可以有效地