莉诺·奥斯特罗姆的制度理性选择框架.docVIP

IRT在量表(测验)编制上的应用2 目录 前言--1 第三章 计算机化适性测验--2 第一节 CAT的原理与概念--2 第二节 CAT的程序--2 第三节 CAT的范例--6 第四节 CAT的相关问题--8 第四章 多向度测验--11 第一节 多向度测验的概念--11 第二节 多向度试题反应理论(MIRT)--14 第三节 多向度IRT的相关问题--17 第四节 MIRT分析的范例--19 前言 试题反应理论(IRT)是测验领域中较新的技术，它已经被应用在教育、心理、医疗等相关领域中，如国中基本学力测验、托福、GRE、GMAT考试，以及国外的一些人格量表与医学相关量表的编制。当代著名的计算机化适性测验(CAT)也必须仰赖IRT的理论与技术才能运作。本次工作坊的主要内容是以介绍IRT的概念与实务应用为主，上午的课程是先对IRT做基础概念的介绍，接着以生活质量量表与国中基本学力测验的发展为例，介绍IRT的基础应用，并有实际数据让学员上机操作，对于有量表发展需求者而言相当实用。下午是IRT的进阶课程，介绍IRT在多向度测验及计算机化适性测验上的应用，对于有兴趣发展人格量表、多元性向测验等多向度测验，或是想发展计算机化适性测验的人而言是很适合的课程。 第三章、计算机化适性测验 第ㄧ节 CAT的原理与概念 计算机化适性测验（以下简称CAT）是由计算机根据受试者的答题反应立刻估计出其能力，并且马上选出适合于受试者能力的题目来施测。由于所选出来的题目难度较符合受试者的程度，因此只要传统非适性测验的1/2~1/3题数就能达到与传统非适性测验相同的测量精准度。此外，计算机化测验的多媒体特性可以让试题以色彩、声音、动画、互动、操作等方式来呈现，提高测验的真实性与生动感。 CAT的主要理论依据是试题反应理论（以下简称IRT）。IRT主要是描述题目参数、受试者能力与其作答反应机率的数学模式。基于IRT的单向性（unidimensionality）与局部独立性（local independency）假定，只要试题符合IRT的模式，则接受不同难度试题的受试者其能力是可以互相比较的（Hambleton Swaminathan, 1985）。 第二节 CAT的程序 在进行CAT时，由于题目是根据每个人的能力所选取出来的，因此每个人所接受的试题都不相同，如果计算出来的能力无法互相比较则进行CAT就失去意义了。所幸基于IRT的单向度与局部独立性（local independency）假定，只要试题符合IRT的模式，则接受不同难度试题的受试者其能力是可以互相比较的。 要进行CAT需要下列几个步骤： 1.建立题库（item bank） 题库建立的程序与一般测验编制程序相同，主要有「建立测验双向细目表」、「根据命题原则设计试题」、「修整与审查试题」、「预试与试题分析」、「筛选试题」、「将试题内容与试题参数输入计算机数据库」等几个步骤﹙Wainer et al., 1990﹚。其中「双向细目表」是所欲测量特质的架构，它能使命题时有范围与目标可循。在进行CAT选题时，也要使各内容或题型的题数比例符合双向细目表的架构，如此测量到的能力才能符合测验建构。为了使题库的适用范围扩大，对不同能力的人都能进行CAT，题库中试题的难度范围也应该尽量扩大。在难度分布型态方面，有研究者建议题库中的难度分布最好呈均等分布﹙Urry,1977﹚。但何荣桂﹙1991﹚的研究则显示，难度为均等分配的题库其被选出来施测的题目有集中在少数几题的现象，这些经常被施测的题目曝光率过高，容易外泄。因此他建议题库中的b参数要以中难度者居多，a参数是愈高愈好，c参数则是愈低愈好。 2.估计试题参数与连结 由于CAT的选题是根据试题参数来进行，而且施测的题数都不多，因此题库中试题参数的精确性很重要。一般而言，欲使估计出来的试题参数是稳定可靠的，单参数模式最好能有200人以上，三参数模式最好能有1000人以上，而且受试者的能力要够分散。由于无法针对同一批人施测题库中的所有试题，因此预试时通常是给予不同批受试者不同的题目﹙其中包含一些共同题﹚，再进行试题参数的连结。进行试题参数连结时，受试者的能力愈分散其效果愈好﹙洪碧霞，1993﹚。常用的试题参数连结方式有平均数标准差法、强韧平均数标准差法、特征曲线法等，其中特征曲线法的效果较好，但是也比较麻烦。此外，如果各群体的测验中安排有共同试题，也可以用同时估计法直接对所有试题进行参数估计，如此题目参数就已经是在同一个量尺上，就不需要再进行连结了。 3.能力估计与选题 在能力估计方面，目前常用的能力估计方法主要有最大概率法（Maximum Likelihood; ML）与贝氏估计法两类，贝氏估计又分为最大后验法（maximum a posteriori, MAP）与