大数据前沿技术及应用.pdf

大数据前沿技术及应用

大数据是一个正在发展中的概念。大数据之大，并不仅仅在于容

量之大，更大的意义在于通过对海量数据的交换、整合和分析，发现

新的知识，创造新的价值，带来„大知识‟、„大科技‟、„大利润‟和„大发

展‟。”最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦

肯锡全球研究院报告《大数据：创新、竞争和生产力的下一个前沿》

则对“大数据”定义如下：大数据是指大小超出了传统数据库软件工具

的抓取、存储、管理和分析能力的数据群。麦肯锡称：“数据，已经

渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们

对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余

浪潮的到来。”可见，大数据就是指蕴涵着巨大价值的、可有效利用

的、多样化的海量数据集。

大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获

得更为深刻、全面的洞察能力提供了前所未有的空间。互联网时代的

数据正在迅速膨胀，它决定着组织的未来发展，随着时间的推移，人

们将越来越意识到数据对组织的重要性。对于企业组织来讲，大数据

的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能

揭示隐藏其中的知识信息，对大数据的二次开发则是通过大数据创造

出新产品和服务。例如，Facebook通过结合大量用户信息，定制出

高度个性化的用户体验，并创造出一种新的广告模式。大数据这股汹

涌浪潮正在兴起，将给各行各业的发展模式和决策带来前所未有的革

新与挑战，教育领域同样不可避免，面临新的挑战和机遇。

大数据在教育领域中的主要应用

1.革新教育理念和教育思维

随着大数据时代的来临，教育大数据深刻改变着教育理念、教育

思维方式。新的时代，教育领域充满了大数据，诸如学生、教师的一

言一行，学校里的一切事物，都可以转化为数据。当每个在校学生都

能用计算机终端学习时，包括上课、读书、写笔记、做作业、发微博、

进行实验、讨论问题、参加各种活动等，这些都将成为教育大数据的

来源。大数据比起传统的数字具有深刻的含义和价值。例如，对于一

张试卷、一次考试，考试得分为90分，它可以是简简单单的一个传

统的数字，但如果换一个角度来分析，把它作为一个数据来看待，就

可以得到其背后所隐含的许多充满想象力的数据信息：可以是每一大

题的得分，每一小题的得分，每一题选择了什么选项，每一题花了多

少时间，是否修改过选项，做题的顺序有没有跳跃，什么时候翻卷子，

有没有时间进行检查，检查了哪些题目，修改了哪些题目，等等，这

些信息远远比一个90分要有价值得多。不单是考试，课堂、课程、

师生互动的各个环节都渗透了这些大数据。教育将不再是靠理念和经

验来传承的社会科学，大数据时代的教育将步入实证时代，变成一门

实实在在的基于数据的实证科学。大数据使得教育者的思维方式发生

了深刻变化，传统的教育大多是教育主管部门和教育者通过教学经验

的学习、总结和继承来展开的，但是有些经验是不具有科学性的，常

识有时会影响人们的判断。大数据时代将可以通过对教育数据的分

析，挖掘出教学、学习、评估等符合学生实际与教学实际的情况，这

样就可以有的放矢地制定、执行教育政策，制定出更符合实际的教育

教学策略。

2.实现个性化教育

大数据带来的一个变化在于实施个性化教育具有了可能性，真正

实现从群体教育的方式转向个体教育。利用大数据技术，我们可以去

关注每一个学生个体的微观表现，比如，他在什么时候翻开书，在听

到什么话的时候微笑点头，在一道题上逗留了多久，在不同学科的课

堂上提问多少次，开小差的次数分别为多少，会向多少同班同学发起

主动交流，等等。这些数据的产生完全是过程性的，包括课堂的过程、

作业的过程、师生或生生互动的过程，等等，是对即时性的行为与现

象的记录。通过这些数据的整合能够诠释教学过程中学生个体的学习

状态、表现和水平。而且这些数据完全是在学生不自知的情况下被观

察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任

何的日常学习与生活，因此其采集非常自然、真实，可以获得学生的

真实表现。大数据技术将给教师提供最为真实、最为个性化的学生特

点信息，教师在教学过程中可以有针对性地进行因材施教。比如，在

课堂学习过程中，哪些学生注意基础部分，哪些学生注意实践内容，

哪些学生完成某一练习，哪些学生可以阅读推荐书目，等等。不仅如

此，当学生在完成教师布置的作业时，也能通过数据分析强化学习。

比如，通过电子设备做作业时，某一类型的题目有几次全对，就可以

把类似的题目跳过；如果某个类型的题目犯错，系统则可进