心理测量学知识---5学案.ppt

第五章 心理测量学知识 第五节 项目分析 第一单元 项目的难度 第二单元 项目的区分度 项目分析包括：定量分析、定性分析 定量分析包括：题目难度和区分度 定性分析包括：考虑内容效度、题目编写的恰当性、有效性 第一单元 项目的难度 一、难度（difficulty）的定义 难度是指，项目的难易程度。 在能力测验中，需要一个反应难度水平的指标，在非能力测验中，类似的指标是“通俗性”。通俗性是指取自相同总体的样本中，能在答案方向上回答该题的人数。 难度的指标通常以通过率表示，即以答对或通过该题的人数百分比来表示。 三、难度水平的确定 （一）项目难度水平的确定 难度分析的目的是：筛选项目。项目的难度取决于测验的目的、性质以及项目的形式。 标准测验希望能准确测量个体差异。某个题目，被试都答对或错，那么该题无法提供个别差异的信息，对测验的信度和效度没有作用，所以，P值越接近1或0，越无法区分个体差异，而P值越接近于0.50，区别力就越高。 为了使测验更有区别力，应该选难度在0.5左右的试题。 但是，如果一个测验，所有试题相关均为1.00。难度为0.50。有一种可能：50％的被试答对所有题目，50％被试答错所有题目。那这个难度0.50还有意义吗？ 所以，选择题目时，所有题目平均难度接近0.5，各测题难度0.5±0.2之间最好。 当测验用于选拔或诊断时，应较多地选择难度值接近录取率的项目。例如，测验为了选秀，就应当有高难度，P值要小。如果录取率是20％，测题难度就应该是0.2。 对于选择题来说，P值一般应大于概率水平。P值等于概率，说明题目过难或题意不清，被试凭猜测做答。P值小于概率无意义，说明题目质量有问题。 是非题，难度应该在0.75最合适，四选一，0.63最合适。 （二）测验难度水平的确定 测验的难度依赖于组成测验项目的难度。 人的心理特性基本是呈常态分布的。我们使用的统计方法是以正态分布为前提。所以测验设计时，希望分数呈现常态分布。 如果被试样本具有代表性，对于中等难度的测验，其测验总分应该接近常态分配。 如果获得的分数不是常态，而是偏态分布的，说明题目偏难或偏易。 如左图，属于正偏态分布。题目难了，必须增加足够数量的较容易的项目； 而右图，属于负偏态分布，题目容易了，必须增加足够数量的有较高难度的项目。 当然，不是所有测验都要求测验分数呈常态分布，有些测验，如掌握性测验，或标准参照测验，分数分布出现偏态是允许的。 难度根据情况而定。 第二单元 项目区分度 一、定义（item discrimination） 也叫鉴别力，是指测验项目对被试的心理特性的区分能力。水平高者通过，低者通不过，就有区分度。 它是评价项目质量和筛选项目的主要指标，也是影响测验效度的重要原因。区分度低意味着项目不能区分被试的实际水平，这类项目达不到测验的目的，必定影响测验效度。 区分度取值介于－1至＋1之间。项目得分与实际能力之间的相关来表示。相关系数越大，区分度越高。负相关说明水平越高，该项目得分反而越低，有问题，淘汰。 第二单元 项目区分度 二、计算方法 在理论上，项目区分度是以项目得分高低与实际能力水平高低之间的相关来表示。但是实际水平很难估计，只好用其他指标代替，常用的是测验总分。 （一）鉴别指数 计算方法： 1、按测验总分高低排列答卷； 2、确定高分组、低分组，27％； 3、分别计算高分组、低分组通过率； 3、项目鉴别指数为：D=PH-PL 第二单元 项目区分度 用D=PH-PL作为项目鉴别指数，理由是，高分组得分率高于低分组，则D0，D越大，该项目区分两种不同水平的程度越高。如果D0，项目有问题。 1965年，伊贝尔（L.Ebel）提出用鉴别指数评价项目性能的评价标准： （二）相关法 计算区分度最常用的方法是相关法 以某一项目分数与效标成绩或测验总分的相关作为该项目区分度的指标。相关越高，区分力越大。 点二列相关：适用于一类变量为二分称名变量，另一类变量为连续变量的成对变量的相关计算。 二列相关：适用于两个连续变量，但其中一个变量被人为分成两类。 ?相关法：适用于两个变量均为二分称名变量。若将测验总分按及格、不及格或录取、淘汰划分，便可计算?相关系数。 三、区分度与难度的关系 区分度与难度关系密切。如某一项目通过人数比率为1.00或0，说明难度P＝1.00或0，也说明高分组和低分组在通过率上没有差异，区分度D＝0。即太难、太易的项目区分度都差。 如果通过率为50％，即难度为P＝0.50，则有可能高分组都通过，低分组通过0，那么区分度很大，鉴别指数为D＝1.00 D 的最大值与项目难度的关系 项目通过率 D的最大值 1.