第05讲 测验的项目分析.ppt

第五讲测验的项目分析主讲：湖南人文科技学院陈尚恒第一节项目的难度一、难度的意义难度一般是指测验项目的难度，当然也可指一个测验的难度。后者是其所包含的所有测题难度的综合指标。我们这里所讲的是项目的难度。从心理学角度看，难度是被试在作答项目时心智操作感到的难易程度。二、难度的计算以全体被试得分率为难度，记为P（Pass）：三、测验项目难度对测验的影响艾伯尔（Ebel）等测量学专家的实验：自编三份试卷，难度分布不一样：卷一：两极端式（没有中间难度的题目）卷二：均匀分布（各种难度的题目个数差不多）卷三：在0.50左右（所有题目都是中等难度）测验结果：四、项目难度分布的选择常模参照测验测验难度在0.50左右。选拔测验要求在录取线附近具有最强的鉴别能力。对于选拔点左右的人而言，题应具有0.50左右的难度。五、难度转换为等距变量将得分率P转换为标准分数Z：P→Z第二节项目的区分度一、区分度的意义定义：指测验项目对被试心理品质水平差异的区分能力，记为“D”。意义：测验目的就是将被试的水平加以区别，项目应为这一目的作贡献。区分度就是针对这种功能的度量指标。区分度高低的标准：客观的标准。（只有被试水平高低清楚了，才能判定项目是否区分对了。）测验的总分。以总分作标准，有利于增强测验项目间的同质性，从而有利于提高整个测验的信度。同时，也说明每个项目应为测验目的作贡献，如果不一致，就说明该题与测验目标不一致。区分度的实质：题分与总分的一致性程度，或者说就是它们的相关系数。区分度的值域：D∈[-1，+1］二、区分度的计算计算题分与总分的相关系数例：10名被试在某测验第一题上的作答情况与测验总分如下表所示，计算该题的区分度。二、区分度的计算（续）计算题分与总分的相关系数例：8名学生在某题上的得分及测验总分如下表，求项目区分度。二、区分度的计算（续）项目鉴别指数该方法是采用极端分组法求项目区分度采用该方法的原因：简单，易理解不同相关计算方法的结果不可直接比较，本方法在各种条件下都可用。不足：丢失了一部分信息。项目鉴别指数的评价标准（Ebel）三、区分度对测验的影响区分度对测验总分方差的影响经验公式：区分度对测验信度的影响Ebel的研究：假设一份试卷所有项目的难度都0.50的话，那么所有项目的区分度的平均数与信度有一个关系：四、影响区分度高低的因素试题的难度项目间的同质性项目的文字质量五、影响区分度计算的因素不同计算方法，结果不同比较不同项目的区分度，要采用相同的方法样本容量不同会影响区分度的计算容量太小，估计值不稳定极端组的比例常用的为27％，也有人用33％或25％被试样本的同质性程度第三节多重选择题的项目分析一、分析的作用与内容对该题进行品质分析，看其是否能测到你想测的那种心理品质。计算该题的区分度，看区分度能否达到要求。看该题的难度是否合适、恰当。正答选项的选答率是否恰当。正答选项在高、低分组的选答率是否是正差，差距是否足够大。（理论上是越大越好）诱答选项（迷惑项或分心因子）的选答率是否恰当，诱答选项在高低分组上的选答率是否是负差，差距是否足够大。二、具体步骤分析试题内容计算区分度计算难度选项分析三、修改题目太难，常常是诱答项的迷惑性太强，因此要将诱答项的迷惑性降低一些；反之，则应提高诱答项的迷惑必一。迷惑项的选答率要较均匀，修改过程中要将高的降低些，低的提高些。一般而言，正答项的选答率在0.40左右，诱答项的每一项的选答率在0.15-0.20左右。特别要注意的是：正答项高低分组的选答率为负差，一定要改正。可能的原因是该答案出错了，还有可能是另有一个正确选项，再一个可能是该题与整个测验所测心理品质相去甚远。第四节项目分析的其他指标一、关于猜测度的分析关于猜测度的问题是“两派三家”：一派：被试在考试中没有猜测只要被试有正确作答的愿望，就必然会看题目，就会进行信息加工，只要不是随机猜测，这样的话，就应该鼓励大家去猜。另一派：被试在考试中有猜测一家：某题的猜测度，如果是四选一的选择题，其猜测的可能性就是1/4。所以为了防止猜测，主张倒扣分。（倒扣与不倒扣有没有区别？）另一家：不能以随机的方式去估计，并不是所有被试都会去猜，只有试题难度与被试水平差异大时，才会猜。如果能力与试题难度相配或超超过该题难度时，是不会去猜的。二、DIF分析DIF是DifferentialItemFunctioning的缩小，常被译为项目功能差异；DIF定义为：对于某个特定项目，如果在来自同一目标特质的两批平行被试组中，显现出不同的统计特性，那么该项目就存在功能差异。D