阅卷评分系统的建立.doc

编号专用页

论文编号：

评阅记录：

阅卷人

评分

备注

阅卷评分系统的建立

摘要

客观评价一次考试或者考核成绩成为确定人才培养最终效果的重要依据。很多时候，我们的各项成绩确定往往需要多项指标共同确定，我们需要全方面的考虑评委的打分特点，因为每个评委都有自己的评分主观性，不可能绝对按照评分标准来评分，因此也就会产生由于评委个人原因而产生的偏差。

针对问题一，我们需要建立一个随机分配模型。将所有论文随机排布，同时，我们将评委随机分为三人一组，然后将每一份试卷随机的分发给随机分的三人小组。当第一次分的所有小组都拿到试卷后，再重新随机分组，再一次随时分发给每一组一份试卷。如此类推，直到所有试卷分发完毕。

针对问题二，我们采用了可视化的分数回收模型，并且同时需要建立一个规范标准分模型。先将所有试卷的三次打分成绩进行收集并且整理归类。通过一名评委的打分年数，得到每个评委的评分可信度，继而得到相应的权值。然后将每篇论文的三个评委的打分进行横向分析比较，给每个评委的评分定下一个权值，最后加权求和的结果作为一篇论文的最终成绩。

针对问题三，需要建立一个修正加权模型，通过对多次最终评分和各个评委打分的情况，统计每个评委在多次评分过程中的准确评分平均数，建立合适的隶属函数。最终根据隶属函数修正每个评委评分可信度，然后再修正所有评委之前定下的权值，通过最终得到的修正后的权值进行加权求和得到分数。

针对问题四，我们建立了数据积累和自动更新模型。我们提出使用标准分来充当一个相对评价量。标准分以平均分为参照点，以标准差为度量单位，将原始分化为具有同一计量单位的分数，这样更能体现评分的公证性和合理性，尽力去掉或减少评卷老师不同带来的成绩的差异和干扰和减少同一份试卷高分和低分的个人情绪干扰。

关键词：随机分配、权值、隶属函数、标准分、系统自修正

1问题重述与分析

1.1问题重述

信息化条件下，如何较为客观评价一次考试或者考核成绩成为确定人才培养最终效果的重要依据。很多时候，我们的各项成绩确定往往需要多项指标共同确定，以建模竞赛为例，假设有n篇论文提交，m个阅卷评委，要求每一篇论文需要被多个（以3个为例）阅卷评委审阅打分，现实的情况是，不同的阅卷评委的评分标准不尽相同，有的评委阅卷比较严格，每一分都有自己的想法；也有的评委评分比较随意，所有的分都差不多，等等。

问题一：建立一个合理的分配模型，首先确定每一位阅卷评委的具体阅卷论文是哪些？

问题二：建立一个可视化的分数回收模型，实时收集专家打分，如何将三个成绩规范为一个标准分？最后形成每一篇论文的最终成绩。

问题三：在评分过程中，由于不同专家评分特点或是其他原因导致多个（以3个为例）成绩差异较大，此时如何修正模型？

问题四：你有没有更好的评分策略，提出自己的想法并修改模型。比如在问题一中如何人工调控来让误差尽可能减小。

1.2问题分析

本题研究的评分系统问题，而解决这个问题的核心在于如何制定一个准确的评分法则，更进一步来说，是确定三个评委分数的权值系数。

对于一个系统来说，它的一些参数应该是由实际的数据统计得来的。因此我们可以通过一定量的数据，寻找其统计学规律，确定系统所需的参数值。这样的参数是由实际数据得来的，因此应对其进行一定的处理。我们数据一共随机选取有1200篇论文，60个评委进行具体讨论。

对于问题一，为了更加公正的随机分发，因此对于所有的论文采用rand随机函数混排。对于所有的n篇论文共计n次评分次数平均分配给60个评委，同时将m个评委随机分为m/3=20个小组，将1200篇论文随机的抽取20份分发给20个小组，然后再重组20个小组，再次分发20份论文。直到全部分发完毕为止。

对于问题二，在问题一的基础之上，我们已经将所有论文分发完毕。然后对于每个评委的历次评卷分数进行纵向的标准化处理，得到每个评委的评卷标准值。对于每篇论文的3个评委进行分析，确定每个评委的评分权值，加权求和的结果作为一篇论文的最终成绩。

对于问题三，将每个评委的评分特点纳入评分系统考虑的范畴，统计每个评委在多次评分过程中的准确评分平均数，当评委评分与论文最终得分小于一个确定的比对偏差时，我们认定为一次准确评分，建立合适的隶属函数。最终根据隶属函数修正每个评委评分可信度，然后再修正所有评委之前定下的权值，通过最终得到的修正后的权值进行加权求和得到分数。

对于问题四，对于问题三的优化，每位评卷老师所评试卷的均值和方差都不相同。单独考察一个评卷老师，他所给出的所有试卷的分数，只能代表每份试卷在他心目中的地位，或者说是他所改的试卷在他心中的一个排序，体现在分数上只表示两份试卷的差异性。

但是现在的问题是，绝大多数的试卷的改卷老师都不完全相同，由于改卷老师个人喜好的差异性，用不同阅卷老师给出的原始分数来比较两份试卷的优劣，恐怕就没