目标讯息函数.pptVIP

IRT之測驗編製 第二組 OMS096125 康金雲 OMS096102 羅文虹 OMS096111 歐瑞蘭 IRT之測驗編製 壹、古典測驗理論編製測驗的方法 貳、古典測驗理論的缺失 叁、彌補古典測驗理論編製測驗的缺失方法 肆、 IRT測驗編製的基本方法 伍、利用訊息函數編製測驗的優點與限制 陸、訊息函數的運用---編製特殊測量目的的測驗 柒、面臨的問題與解決之道 古典測驗理論編製測驗的方法 依據：難度(接近0.5為佳) 鑑別度(愈高愈好，最低0.25以上) 雙向細目表VS.試題分配比例 (郭生玉，民88，頁269-272) 古典測驗理論的缺失 一、抽樣變動大 二、能力難比較 三、複本難實施 四、缺乏預測力 五、等測量標準誤 (Guion Ironson,1983；Wright,1977；王寶墉，民84) 古典測驗理論的缺失-抽樣變動大 項目難度 樣本能力高的受試多 P值高 樣本能力低的受試多 P值低 項目鑑別度 樣本具同質性 D值小 樣本具異質性 D值大 信度指數-信度估計方法受樣本分數的變動性影響 古典測驗理論的缺失-能力難比較 相同測驗的前後測分數 複本測驗 非複本(nonparallel)但功能相同的測驗 古典測驗理論的缺失-複本難實施 古典測驗理論對信度的假設是建立在複本(parallel forms)測量的概念假設上。 假設1：每位受試者接受同一份測驗無數 次，每次測量都獨立不相關。 假設2：每種測驗都製作複本。 古典測驗理論的缺失-缺乏預測力 忽視受試者的試題反應組型(item response pattern)，認為原始得分相同的受試者，其能力必定相同。 於是… 預測受試者在一個新測驗可能的表現 古典測驗理論的缺失-等測量標準誤 古典測驗理論以相同的測量標準誤作為每位受試者的測驗誤差指標，沒有考慮到個別差異，其實不同能力組在測驗的穩定性並不相同。 彌補古典測驗理論編製測驗的缺失方法 IRT 運用試題和測驗訊息函數來參與編製測驗的工作 ＊IRT的特點—1.所採用的參數不受樣本影響 2.提供個別差異的測量誤差指標 3.能力可比較 4.試題訊息量及試卷訊息量評定測量準確性 5.能提供較精確的能力估計值 6.適合度考驗值(statistic of goodness-of-fit)提供參考指標 (Hambleton,1989；Hambleton＆Cook,1977； Hambleton,Swaminathan, ＆Rogers,1991；Lord,1980) CTT與IRT的比較 CTT的缺失 一、抽樣變動大 二、能力難比較 三、複本難實施 四、缺乏預測力 五、等測量標準誤 IRT測驗編製的基本方法 工具：訊息函數（information function ） 過程：1.選定合適的試題反應模式。 2.分析資料。 3.獲得試題參數和學生的能力參數  估計值。 4.獲得訊息函數值。 5.利用試題訊息函數，編製測驗。 訊息函數（information function ） 基本概念： 試題反應理論提出一個能夠用來描述試題或測驗、挑選測驗試題、以及比較測驗的相對效能的實用方法。 需要使用試題訊息函數(item information function) ，作為建立、分析、與診斷測驗的主要參考依據。 試題訊息函數的定義 代表試題 在能力為 上所提供的訊息 測驗訊息函數(test information function) Birnbaum(1968)定義： 值上，該試題訊息函數之總和。 如何利用訊息函數編製測驗？ （ Lord, 1977 ） 決定「目標訊息函數」(targe