心理10秋第三讲课件.ppt

编写和评价测验题目 心理测验与人才测评·第三讲 测验编制程序 测验编制程序在一定程度上因测验目的而异 成就测验 智力测验 特殊能力倾向测验 人格问卷 筛选测验——能力倾向测验 筛选一项特定工作的应聘者 1、任务分析：详细分析工作所包含的活动 2、制定任务分析细目表：关键事件 3、按一般测验编制操作 题目编写的指导方针 1、弄清楚你想要测什么？ 2、建立一个题库 3、杜绝特别长的题目 4、题目要易于理解 5、避免同时表述了两重或多重意思的题目。 6、注意交错编排措词积极或消极的题目 题目形式（1/4） 1、双选项形式（dichotomous format） 正误判断测验(true/false examination) 优点:简单明了,容易施测,评分便捷,必须明确指出对错. 缺点:记忆资料;猜测;因此需要较大题量 对人格测验而言 题目形式（2/4） 2、多选项形式（polytomous/polychotomous format） 多重选择测验 干扰项（distractors）:不正确的选项 增加干扰项可以提高信度 3-4个最为合适 例子:警官资格考试 题目形式（3/4） 计分: 对猜测进行校正的公式 其中:R表示正确回答的题目数 W表示错误回答的题目数 N表示题目中的选项数 要求被试给选项所代表的特征确定数值: 3、利克特形式（Likert Format） 要求被试表明他对一个特定态度问题的赞成程度 5点、6点和7点；Likert Scale 题目形式（4/4） 适用范围：人格量表、态度量表、因素分析 4、分类形式（category format） 类似于LIKERT形式，但提供了更多选项。 如：10点量表 对于给定的一组目标进行评估时，评定者一般倾向于在10个等级上平均地分配这些目标。 如果清晰定义量表的两个端点并经常提醒评定者注意端点的定义就可以避免这种倾向。 视觉模拟量表（visual analogue scale） 完全没有痛苦 非常痛苦 价值评定中背景的影响 在不允许穿着暴露的街上穿着暴露 1.59 侵占前面的顾客留给侍者的小费 3.32 随心所欲地利用他人的同情心 2.90 教唆青少年成为吸毒 4.51 侵占前面的顾客留给侍者的小费 2.46 让别人顶替你参加民事服务考试 3.39 题目形式（3/4） 5、检核表和Q分类 形容词检核表（adjective chechlist） 适用于人格测量 要求被试从两个形容词中选择认可某一个 Q分类（Q-sort） 适用于描述自我或评定他人 要求被试把一些陈述分为9类 例子 加利福尼亚Q分类 题目形式（4/4） 6、其他 最常用的: 迫选形式（forced-choice format） Likert形式 容易出错的： 检核表 项目分析（1/4） 1、题目难度（item difficulty）: 在一个特定题目上做出正确回答的人数 最佳难度水平： （猜测概率+1）/2 大多数测验题目中应该有多种难度水平：0.3-07 项目分析（2/4） 2、项目区分度（item discriminability） 在特定题目上表现良好的人是否在整个测验上也同样表现良好。 估计方法： 1、极端分组法（extreme group method）： 通过比较那些在测验上表现很好的被试与表现不好的被试在题目通过率上的差异来估计区分度。 第一步，找出前1/3与后1/3 第二步，算出各组每题答对的比例。 辨别力指数（di, discrimination index） 专栏6-1 项目分析（3/4） 2、点二列相关法（point biserial method） 计算题目成绩和整个测验成绩之间的相关。 项目分析（4/4） 3、项目特征曲线（item characteristics curve） X轴：测验总分 Y轴：正确回答某一题目的被试的比例 一个“好”题目的项目特征曲线：答对该题的被试比例是测验总分的增函数 一个在低水平被试中区分得很好但不能区分高水平被长工的测验题目 一个质量不高的题目的项目特征曲线 多个题目的项目特征曲线 一个有问题的项目特征曲线 项目反应理论(item response theory,IRT) 测验的每一个题目都有自己的项目特征曲线，描述了每一个特定能力水平的被试答对或答错该题目的概率。 借助计算机，不需要被试做完所有题目主试就可以确定他的能力水平。 运用项目反应理论编制测验(1/2) 运用项目反应理论编制测验(2/2) 方法二: 第三个维度:能力水平很低的被试答对题目的概率 方法三: 只使用难度参数 测验特征曲线: 综合各题目的项