IRT在量表(测验)编制上的应用 .pptVIP

IRT在量表(測驗)編製上的應用 陳柏熹 台灣師大心輔系 大綱 IRT的概念與發展 IRT在測驗編製上的應用 IRT在電腦化適性測驗上的應用 MIRT在多向度測驗上的應用 一、IRT的概念與發展 ?j 為考生 j 的能力， bi 是試題 i 的難度， Pij是受測者答對某個題目的機率 試題反應理論(item response theory; IRT)的基本概念 試題反應理論(IRT)與古典測驗理論(CTT)比較 試題反應理論 傳統測驗理論 模式 特性 試題的作答反應模式。 不同IRT模式適用不同測驗。 測驗總分的模式。 各種測驗都使用同一套模式。 試題 參數 題目參數估計不變性。 題目參數會受到受試者能力影響 能力 量尺 能力估計不變性。 根據概似函數估計程度，理論基礎強。 可直接參照題目或發展參照標準來解釋分數 可算出等距量尺。 受試者能力受到題目特性影響。 各題目配分直接加總，缺乏理論基礎 需發展參照標準才能解釋分數。 群體為常態分布才能算出等距量尺。 信度 測量精確度(訊息量)隨著受試者能力以及所接受的題目特性而不同。 接受同一測驗的所有受試者其測量精確度(信度)都相同。 應用 編製測驗(量表)、分數等化，編製題庫、電腦化適性測驗、組合測驗 編製測驗(量表) 整體 評估 優點： 能力估計不變性、具有題目參數估計不變性、測量精準度的概念較合理、應用層面較廣。 缺點： 不易理解、能力估計與試題參數估計較麻煩，須仰賴電腦軟體來分析 優點： 模式簡單易理解，能力與試題參數容易計算。 缺點： 等測量標準誤假設不合理、應用較狹隘，受試者程度受題目特性影響、題目參數受受試者特性影響。 試題反應理論(IRT)與古典測驗理論(CTT)比較(續) 二元計分模式 Rasch模式 常見的IRT模式 二元計分模式 二參數模式 二元計分模式 三參數模式 多元計分模式 部份給分模式 多元計分模式 評定量尺模式 單向度 測驗中的所有題目主要都是測量相同的某一項特質，或是受試者在測驗題目上的答題反應主要是受到單一項特質所影響 。 局部獨立性 相同能力水準的受試者，在各個題目上的答對機率是互相獨立的。 IRT的基本假設 評量系統公司 當代IRT的發展 向度 數量 計分 方式 參數個數 模式提出者 適用軟體 單向度 二元 計分 單參數模式 (Rasch模式) Rasch(1960) Bigstep, BILOG, BILOG-MG 二參數模式 Lord(1952) 三參數模式 Birnbaum(1968) 多元 計分 類別反應模式 (nominal response model) Bock(1972) MULTILOG, ConQuest 等級反應模式 (grade response model) Samejima(1969) 部份給分模式 (partial credit model) Wright Masters(1982) 評定量尺模式 (rating scale model) Andrich (1978) 多向度 二元 計分 多向度二參數模式 Mckinley Reckase(1983) NOHARM, ConQuest 多向度三參數模式 Hattie(1981) 多元 計分 多元計分模式 Adams, Wilson Wang, (1997) 編製測驗(量表) 測驗等化 建立題庫 組合測驗 電腦化適性測驗 IRT的應用 二、IRT在測驗編製上的應用 測驗(量表)設計原理 優良測驗設計(Best Test Design)(Wright Stone, 1979) 測量的概念 要具有可以測量的潛在特質 欲測量的特質必須是單向度 能設計出測量不同程度特質的題目，並適當安排 受測者的答題反應必須是合理的 分數量尺應該要符合等距的特性 每天都有用不完的能量 常做激烈運動還能活力十足 身體功能正常，不影響日常生活 從事簡單的活動(散步)後不會累 沒有臥病在床 休息與睡眠功能正常 有辦法從事簡單的運動，如慢跑 甲受試者 乙受試者 測量的單向度概念： 甲受試者 乙受試者 甲受試者 乙受試者 甲受試者 乙受試者 低程度題目 高程度題目 高程度題目 高程度題目 低程度題目 低程度題目 0分 8分 4分 5分 2分 5分 選擇模式 計分或估計能力時，是否要對題目進行加權？ 對量尺特性的要求。 希望獲得的試題參數類型。 根據量尺特性或測驗分析的目的來決定。 資料與模式的符合度的比較。 估計受試者程度值 反應概似函數（likelihood function） 例如：在難度為(-1, -0.5, 0, 1, 2)的題目答出[1,1,0,1,0]時 尋找最佳解的方法： 最大概