大数据价值挖掘与应用案例分析.pdfVIP

作业盒子大数据价值挖掘

1、大数据简介

“大数据”在一段时间可谓是一个时髦的字眼。大数据概念涵盖广泛，大

数据功能与技术也总总，无法用三言两语讲述明白。在这里，我们强调三

个方面：首先，大数据技术的起点是数据的记录。大量数据的记录累积使得我

们可以很容易地还原未知的过去，使对过去的分析成为可能。其次，记录的数

据量，比如，往往会比较大，大数据技术需要对记录做出归纳，精简

地表达出大量的数据，方式例如量的统计、规律的总结、可视化等等。最后，

大数据最有价值的功能可能是它的预测能力，我们可以利用在数据里总结的规

律，判断未知、预见未来。

2、大数据案例介绍

下面结合大数据（BDL）的两个大数据应用案例来探讨大数据的价

值。先说一下对外滩故的分析报告。汇总事发后的多方专家家对事

故的分析，大致围绕以下几方面：人流量大、灯光秀更改地点的信息

不力、人流对冲和缺乏，这些分析都比较合理，但缺乏量化依据，也缺乏

更加建设性的措施。从大数据分析结果看，首先事发地点的人流量并不是

当天外滩及周边地区最大的，这个可以通过用户定位请求的热力图清晰的

看到；信息方面，在搜索引擎中“外滩灯光秀”搜索量在事故之前出现激

增，同时区域集中性强，可以推断很多游客在到了事发地点才发现灯光秀改了

地点；从对事发地点的人流方向的记录进行分析，可以看到人流互相对冲

远远强于同年的、中秋，这大大增加了风险；最后，结合地图的

数据，发现地图搜索量与人流量有很强的互相关性，这样就带来了人流量

的可能。

大数据分析在这个案例中的应用可以归纳为三个阶段：1，记录数据，记录相关

时段、相关区域的地图用户的定位、搜索日志（log）；2，归纳与展示，

统计量曲线、热力图、扇形直方图等；3，预测，从地图搜索量中寻找提前量。

正是因为记录了数据，所以我们能记录，未来。

第二个案例，的预测。的预测所用的模型相对抽象，这里只简单

的类似前面那个案例给出三个阶段的介绍。在的大数据预测中，记录的

数据为比赛胜负与公司，归纳的方法为隐因子模型，这个模型根

据数据去猜测球队的攻防能力，并将之刻划为模型的参数。通过记录的数据，

优化这些参数，并通过优化参数后的模型进行随机模拟来预测。预测的具体方

式是，在电脑上模拟10000次，通过各个结果，比如夺冠，出线等出线

的次数的比例，算作该结果发生的概率。这是在比赛比分数据上得到的结果，

这相当于学生的考试成绩；如果有比赛细节性的数据，比如传球记录等，

我们可以做更细致的分析，上在这些细节数据上已经有很多研究和实

践，来刻划球队的状态、战术的效率等，可以指导和参与者。后面的

细节数据在教学里相当于每一次的作业的记录，我们同样可以根据这样细致的

大数据，等到更好的教与学的指导。

说来也巧，《大数据时代》的作者VictorMayer-Schönberger的第二部关于

大数据的书籍，就是讲教育大数据的，书名叫LearningwithBigData:TheFuture

ofEducation，在该书中Victor，“教育不只是「我讲你听」、考试打成绩、

或是选修科目而已；透过大数据，我们可以看到：上第一次，我们终

于拥有了强大、具实证效果的工具，能够了解「怎样教学」与「如何学

习」。”

3、关于作业盒子大数据

针对作业盒子的大数据分析，我们初步罗列出班级、老师、学生、正确率、科

目、知识点、时间和题目等数据对象，并刻划了这些对象之间的二元或者多元

关系组合，同时也考察了这些对象随着时间的趋势性模式。不同的数据对象的

关系组合可以得到不同的相关性分析的可视化图表。作业盒子大数据可分析的

维度及内容是多样化的，目前我们得到的数据图分析图表主要有（包括但不仅

限于）：1、班级综合正确率分布；2、同科目不同班级知识点正确率分布情

况；3、同科目不同班级知识点正确率分布情况；4、单个学生知识点正确率随

时间变化情况；5、各知识点教学表现情况；6、题目质量分析；7、知识点互

补性分析；8、知识点数据聚簇分析。由于篇幅有限，在这里只