IRT在量表(測驗)編製上應用 .pptVIP

IRT在量表(測驗)編製上的應用 陳柏熹 台灣師大心輔系 大綱 IRT的概念與發展 IRT在測驗編製上的應用 IRT在電腦化適性測驗上的應用 MIRT在多向度測驗上的應用 一、IRT的概念與發展 試題反應理論(IRT)與古典測驗理論(CTT)比較 二元計分模式 Rasch模式 單向度 測驗中的所有題目主要都是測量相同的某一項特質，或是受試者在測驗題目上的答題反應主要是受到單一項特質所影響 。 局部獨立性 相同能力水準的受試者，在各個題目上的答對機率是互相獨立的。 評量系統公司 編製測驗(量表) 測驗等化 建立題庫 組合測驗 電腦化適性測驗 二、IRT在測驗編製上的應用 測驗(量表)設計原理 優良測驗設計(Best Test Design)(Wright Stone, 1979) 測量的概念 要具有可以測量的潛在特質 欲測量的特質必須是單向度 能設計出測量不同程度特質的題目，並適當安排 受測者的答題反應必須是合理的 分數量尺應該要符合等距的特性 選擇模式 計分或估計能力時，是否要對題目進行加權？ 對量尺特性的要求。 希望獲得的試題參數類型。 根據量尺特性或測驗分析的目的來決定。 資料與模式的符合度的比較。 估計受試者程度值 反應概似函數（likelihood function） 例如：在難度為(-1, -0.5, 0, 1, 2)的題目答出[1,1,0,1,0]時 尋找最佳解的方法： 最大概似法(Maximum Likelihood; ML) 貝氏最大後驗法(maximum a posteriori, MAP) 貝氏期望後驗法(expected a posteriori, EAP) 尋找概似函數最佳解的方法： 1.最大概似法(Maximum Likelihood; ML) 找出能使受試者的反應概似函數最佳化的能力值，為了 加速找到最佳解，通常使用牛頓-約佛森(Newton-Raphson)法進行疊代： 2.貝氏最大後驗法(maximum a posteriori, MAP) 以受試者的事前能力分布作為加權值，形成事後機率密度函數，並找出能使此事後機率密度函數最大化的能力值。 3.貝氏期望後驗法(expected a posteriori, EAP) 與2.類似，但所尋找的能力值是事後機率密度函數的期望值(相當於平均數)，而不是最大值(相當於眾數) 。 試題分析 反應概似函數（likelihood function） 常見的試題參數估計法 聯合最大概似法(joint maximum likelihood; JML) 先假設試題參數已知 (設定所有題目的難度為0)，估計受試者的暫時程度值；再把題目難度設定為未知，利用暫時的能力估計值來估計題目參數 邊際最大概似法(marginal maximum likelihood; MML) 估計題目參數時，考慮受試者背後常模的分布型態 條件最大概似法(conditional maximum likelihood; CML) 用答對題數來估計受試者能力值，接著再用受試者能力值來估計試題參數 測驗訊息量與測量誤差 題目訊息量(item information)： 測驗訊息量為題目訊息量總和。 測量誤差： 檢視資料的符合性 一、基本假設的檢定 單向度：1.受試者反應型態的合理性 2.計算內部一致性信度 3.進行主成分分析 4.使用線性或非線性的因素分析 5.殘差值分析 局部獨立性：依能力高低分成若干組別，分別在每個組別中算出各題得分的相關矩陣，看各題目得分是否有顯著相關 二、模式符合度的檢驗 題目符合度：ICC曲線、Bock(1972)的?2值、多模式的概率比 受試者符合度：能力估計誤差、受試者符合度指標 以IRT編製測驗的範例 (1) ㄧ、能力測驗的編製 九十四年第一次國中基測驗數學科，共有33題。資料來源為作者向國中基本學力測驗推動工作委員會申請，該單位僅提供5000筆供研究用。此處僅使用其中500筆。 以IRT編製測驗的範例(2) 二、人格與態度量表的編製 作者自行發展的生活品質量表(陳柏熹，1999)。該量表主要測量受試者在身體、心理、獨立性、社交、環境、心靈等層面的生活品質感受，以及整體生活品質感受。每個題目都是以「非常像我」、「大致像我」、「不太像我」、「非常不像我」等四點計分。本節僅使用身體層面的生活品質感受題目為例進行分析。 * * ?j 為考生 j 的能力， bi 是試題 i 的難度， Pij是受測者答對某個題目的機