基于MOOC平台互评质量控制研究.docVIP

基于MOOC平台互评质量控制研究 　　摘 要：近年来，随着众包的发展，对工作者的准确率估计越来越受到关注。而作为一种特殊的众包形式，学生互评也被MOOC平台（大规模开放式在线课程）广泛应用。本篇文章研究MOOC课程中的在线互评机制，通过结合学生互评质量与学生的学习能力对其互评能力做出估计，以此设计互评分配算法。通过更精准地分配互评任务，得到更符合学生作业质量情况的互评结果。 　　关键词：MOOC；推荐互评；众包；质量控制；分配算法 　　中图分类号：TP391 文献标识码：A 　　Abstract：In recent years，with the rapid development of crowd-sourcing，estimating the precision ratio of crowd workers has attracted more and more attention.As a special form of crowd-sourcing，peer grading has been used by most of Massive Open Online Courses （MOOCs）.This paper studies peer grading mechanism in MOOCs，and estimates students peer grading ability through a combination of their peer assessment and study ability，so as to design an allocation algorithm and achieve more accurate results in compliance with students works by means of more accurate assignments of peer assessment. 　　Keywords：MOOC；peer grading；crowd-sourcing；quality control；allocation algorithm 　　1 引言（Introduction） 　　近年来，随着大型在线开放课程MOOC平台的流行，使得越来越多的人可以通过观看视频的形式学习具有大学水平的在线课程。然而，新型互联网科技虽然可以让学生获取视频资源，同时也使得对学生给出的复杂的、开放式的作业进行评估和反馈的能力大大受限，例如数学证明、设计问题和文章等形式的作业[1]。相比较于学校中常规的课程，MOOC课程的规模是非常大的，每个课程通常超过20000名学生，因此，学生直接互评作业机制的引入势在必行[2]。 　　同学间的互评之所以受到质疑和挑战，是因为学生的知识和能力与教师存在很大的差距，因此把单纯而随机地通过给学生分配互评任务得到的互评评价结果作为课程的反馈在一定程度上会遭到学生的质疑。而在大规模的在线课程中，学生的能力、语言又不尽相同，这可能给学生的互评带来新的挑战[3]。因此，本文的主要思路是在没有黄金标准[4]的条件下，结合学生以往的互评工作经验对学生的评价能力进行估计，并设计互评分配算法。 　　2 互评质量控制的简述（Overview of quality control of peer grading） 　　学生互评本质上是一种众包，而众包是一种将任务通过互联网外包给个人的方法。这种方法将具有特殊需求的任务分布式地发放出去，其目的是结合群众的智慧。然而众包之所以受到很多争议，正是由于参与众包任务的工作者大多不是专业人士。如果任务涉及了专业的知识，那么并不能保证工作者们给出的结果的准确性[5]。 　　目前，三大MOOC平台之一的Coursera已经将互评机制引入课程学习的过程中。学生的作业全部需要上传到服务器，每个作业包含一个评估准则，它描述了该作业的打分标准[6]。在学生评阅之前，工作人员大约需要完成12份作业的评阅工作，其中8份用来对每个学生进行训练，剩下的4份用来估计学生评阅的准确率。学生在每个作业的评阅过程都包含两个阶段：校正和评价。 　　在学生完成校正过程后，便开始正式的评阅过程。在此过程中，学生会被分配五份作业进行评阅。但学生不知道这五份作业中的一份是工作人员所评阅过的作业，这份作业用来对学生评阅的准确度进行评估。综上所述，每个学生会收到四份随机分配的其他同学的作业，以及一份与工作人员共同评阅的作业。本算法应用于在线互评系统中，将学生评阅质量估计与学习能力结合起来进行学生评阅作业的分配，实现以更小的评阅数目得到更准确的评阅结果。 　　3 评阅质量估计方法及实验分析（Estimation method and experiment