测验试题分析.ppt

傳統試題和 IRT試題分析的方法國家教育研究院籌備處測評組cheng@naer.edu.tw曾建銘 傳統試題和 IRT試題分析的方法 傳統試題分析的方法 IRT試題分析的方法 試題分析的解釋 試題分析（item analysis） 一、前言 信度與效度是測驗二項的重要特徵，二項特徵均須視試題品質優劣而定，而試題品質則可藉由試題分析而提高。 前言 試題分析包括： （1）依試題內容與形式做品質分析 （2）依試題統計特性做量化分析。 品質分析 可由試題的內容審查、有效命題原則、教學目標進行邏輯的分析，即可達到目的。 量化分析 量化的目的主要在分析每題試題所具備三大統計特徵：難度、鑑別度、誘答力。於考試完後做試題的分析，以便將內容效度適切的、鑑別力高的與難度適中的題目保留下來以建立題庫。 二、試題分析功能 （一）提供回饋給學生，作為學生改進學習方法 的參考。 （二）提供回饋給教師，作為實施補救教學的依 據。 （三）提供改進課程建議的依據。 （四）增強教師編製測驗的技巧。 （五）增進測驗題庫運用的效能。 （六）可縮短測驗長度，節省測驗時間，提高信 度與效度。 三、測驗試題分析 常模參照測驗試題分析分為三種分析： （1）難度 （2）鑑別力 （3）誘答力。 三、測驗試題分析 試題量的分析步驟 難度分析 鑑別力分析 難度與鑑別力的關係 選擇題選項誘答力分析 效標參照測驗試題分析 試題量的分析步驟 根據原始分數的高低依序排列。 從最高分往下取總人數的25%~33%為高分組再從最低分往上取總人數的25%~33%為低分組。(註一) 分別計算高分組與低分組在每一道題答對人數與百分比。 計算每題的難度指數。 計算每題的鑑別指數。 檢查每一題所列選項回答人數以確定誘答力。 註一： Kelley(1939)─當測驗分數是常態分配時，以27%分組試題的鑑別力最可靠。 ◎當百分比低於27%時可靠性較低，而百分比太大時，會影響題目的鑑別作用。 ◎對教師而言，合理的分組百分比可在25%到33%之間。 難度分析 通過百分比分析 等距量尺分析 試題難度與測驗分數的分配 通過百分比分析 計算全體受試者答對每題的人數百分比，這百分比稱為難度指數。如下： 【公式1】 P = R / N P：難度指數 R：答對的人數 N：總人數 優點：簡單易行。 缺點：無法顯示試題區別功能，到底是高分組答 對較多或低分組。 通過百分比分析 【公式2】 P = P H ＋ P L / 2 P ：難度指數 P H：高分組答對的人數 P L：低分組答對的人數 優點： （1）答對百分比表示難度，其數值愈大，題目愈簡單。 （2）使用次序量尺，可以指出題目的等級順序或相對難 度。 缺點： （1）無法指出各難度間差異大小。 （2）單位不相等，即P1－P2≠P2－P3 難度分析 採用等距量尺分析 △=13+4z △：難度 z：σ值 難度公式的比較 試題難度與測驗分數的分配 難度P值→0 ≤ P ≤1 （1）P ＝0.5（難度適中），分配型態為 常態分配。 （2）0.3 ≤P ≤0.7（難度適當） （3）P ＞0.7（試題較易），分配型態為負 偏分配。 （4）P ＜0.3（試題較難），分配型態為正偏分 配。 鑑別力分析 內部一致性分析 外在效度分析 內部一致性分析 內部一致性分析旨在瞭解各個試題的 功能是否和整個測驗的功能相符合一 致。 公式如下： D＝P H － P L D ：鑑別力指數 P H：高分組答對的百分比 P L：低分組答對的百分比 內部一致性分析 （1）-1≤ D ≤1 D ＝0，無鑑別度。 試題太簡單，高分組與低分組學生全部答對 （P H － P L＝ 0）。 試題太困難，高分組與低分組學生全部答錯 （P H － P L＝ 0）。 （2）D ＝+ 1， 高分組學生全部答對，低分組學生全部答錯。 （P H ＝1， P L＝ 0）。 （3）D ＝－1， 低分組學生全部答對，高分組學生全部答錯。 （P H ＝0， P L＝ 1）。 內部一致性分析 美國學者伊博（1979）的評鑑標準 外在效度分析 外在效度分析旨在檢驗題目是否具有預定的某種鑑別作用（簡茂發，民67）。 分析學生在試題上的反應與在效標上表現之間的關係，目的在試題反應與測驗的外在效度變得最大，用來增強效標關聯效度。 根據學生