理论知识和业务规范试卷分析和质量评价.docVIP

理论知识和业务规范试卷分析和质量评价 　　摘 要：选用目前比较通用的难度、区分度和信度进行试卷分析，并对单选题干扰项进行分析。结果表明，考试成绩总体分布比较合理。试卷四个题型难度比较适中，平均难度为0.55。试卷中大部分区分度在良好以上，能够很好比较高分段和低分段考生对知识掌握的程度，并且对各类型题目的成绩和总成绩具有统计学差异。该次考试信度系数为0.67，表明该次考试成绩可靠性较高，考分能够较真实反映考生对天气预报业务理论知识和业务规范的掌握情况。 　　关键词：难度 区分度 信度 试卷分析 　　中图分类号：G64 文献标识码：A 文章编号：1674-098X（2016）11（a）-0120-04 　　从2006年开始，全国气象行业职业技能竞赛已常态化，气象行业天气预报职业技能竞赛从2007年起每两年举办一次。各省（自治区、直辖市）气象主管部门也纷纷将定期组织开展辖区内气象行业天气预报职业技能竞赛作为一项重点工作[1]。这种常态化的竞赛活动，一方面培养锻炼了天气预报员业务素质和基本技能，提高了天气预报业务水平，提升了气象预报预测能力，营造了人才成长与发展的良好氛围，树立学理论、长技能的正气；但另一方面，在筹备本省业务技能比赛的过程中各类试卷的编制工作量大，试题的水平参差不齐。因此，如何高效、公平地分析评价试卷质量，提高考试的质量也就成为了当前各级气象业务管理部门特别关注的课题。 　　1 资料与方法 　　1.1 资料来源 　　选择参加第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范考试的全体选手的试卷，共54份进行分析。 　　1.2 试卷概况 　　该次考试为闭卷考试，满分为85分。考试按照以往竞赛惯例有填空题、单选题、多选题、简答题等四种题型，共71道题。 　　1.3 阅卷方式 　　根据预先确定的标准答案和评卷标准，采用流水作业的方式进行阅卷，试卷中考生姓名、单位均作密封处理。 　　1.4 研究方法 　　选用难度、区分度和信度[2-3]进行试卷分析，并对单选题干扰项进行分析。 　　1.4.1 难度 　　难度是指反映试题难易程度的重要指标，即参加考试的全体考生在该题的平均得分率，用难度系数P表示。各小题的难度是以考生在该题的得分来衡量的一个相对量度（见表1）。 　　1.4.2 区分度 　　区分度是反映试题对高水平考生和低水平考生区分能力的一个指标。一般是选取成绩优秀的考生和成绩比较低的考生进行对比，分别计算各类型题目的成绩和总成绩，再进行统计分析，以比较不同水平考生的在各类型题目的成绩和总成绩是否有统计学差异，从而判断该试题是否有区分度。 　　1.4.3 信度 　　信度是试卷客观性及考试结果准确性的一种反映。目前最常用的信度计算方法是克龙巴赫（Cronbach）系数法[7]，计算公式为：，式中，为信度系统；k为试题数；S2为试题总得分的方差；Si2为第i道题得分的方差。 　　1.4.4 单选题干扰性指标分析 　　对于单选题，一般是由题干和若干可选答案共同组成，而可选答案中只有一个是正确答案；其余的称为干扰性答案。如果一个试题的某个干扰性答案不被或很少被考生选择，则表明这个干扰性答案不具备干扰性作用，需要改换或修改它，以完善试题。如果所有干扰性答案都被选过，且被选的频数大体相等则表明该干扰性答案干扰性强，试题质量高[8]。 　　2 结果与分析 　　2.1 试卷成绩分布 　　第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范试卷各题型分值情况见表2。 　　理论知识与业务规范考试是气象行业天气预报职业技能竞赛所设置的一个单项中的一部分。该次考试试卷满分为85分，最高分69.5分，最低分22.5分，平均成绩47.1分，中位数为48.75分，全距为47分。人均失分率是用各题的人均失分数除以该题的满分数计算得来。由表1可看到，简答题的失分率最高，达到35.04%，单选题失分率最低，为13.51%，四种类型题的失分率相差较大。 　　第五届湖南省气象行业天气预报职业技能竞赛理论知识与业务规范考试成绩分段统计见表2，成绩分布直方图见图1。从表3和图1可以看出，考试成绩总体分布比较合理。 　　2.2 试题难度 　　在计算试题的难度时，单选题、多选题以客观题方式计算，填空题、简答题以主观题进行计算。试题的难度系数和各题的实际难度成反比，即难度系数越小，试题越难，如P0.3，该题属于难题；难度系数越大，试题就越简单，如果0.90≤P1，则表明该题属于易题。 　　各题的考试结果归类见表4。统计得出，在填空题共30题，其中第12题答对的几率很高，因为这题考查的知识点比较简单，不足以考查考生对理论知识的掌握程度，下次考试出题应该尽量不采用。第5、16、19、29题是难题，答对的人数分