试题评监标准监别度指标.PPTVIP

試題分析 宜蘭縣國民教育輔導團 社會領域薛春華 試題分析的重要性 試題分析的功能： 在於瞭解題目的品質， 刪掉或改寫品質不佳的題目， 進而改善題目的品質。 試題分析的方法 一、主觀性的試題評鑑 二、命題原則性 三、客觀性的試題評鑑 一、主觀性的試題評鑑 由編製者本身或其他學科專家群，就個人專業素養、過去教學或出題的經驗或出題的，主觀判斷題目的品質，判斷的向度包括題目是否太容易或太困難、文字表達是否清晰、題目數量是否合理、錯誤選項的安排是否恰當等等。 三、客觀性的試題評鑑 難度 指答對某題的人數佔總人數的百分比。 鑑別度 鑑別度就是 “讓該題目應該要對的人都對， 不應該對的人都錯”的狀況。 也就是愈能避免 “不會因亂猜者答對的” 情形發生的機率愈小，鑑別度愈高 ※ 指某題能區辨高能者與低能力者 的程度。 選項誘答力 選擇型試題提供三至四個不正確選項，來吸引知識不夠完整或僅有部分知識的學生去選擇它們，以發揮選擇題特有之「誘答」功能，增加試題的鑑別功能。 誘答分析（distractor analysis） 應用於multiple-choice item 正確（標準）答案型試題 最佳答案型試題 誘答（distractor）: 正確的答案 能夠用以反應真實能力的指標 能力越強者，答對機率越高 誘答（錯誤的答案） 似真答案，用以誘使受測者作答的選項 誘答受到諸多其他因素與構念的影響，影響越強，誘答力越高 誘答機率 誘答可能性的計算： 理論值： 實際值：實際每誘答答錯人數 誘答影響力：實際值-理論值 誘答影響力0，表示高機率誘答 誘答影響力0，表示低機率誘答 誘答的被選機率應該趨於一致 選項分析 難度、鑑別度與誘答力的關係 一、誘答力越高，難度值(P)降低。 二、難度值(P)升高時，鑑別度降低。 三、誘答力降低時，鑑別度降低。 * * 1.題型是否適合測量學生的學習成果？ 2.題目是否與教學目標有關？ 3.題目是否陳述清楚？ 4.題目的難度是否恰當？ 5.題型的分配是否恰當？ 6.題目的書寫是否有錯誤？ 7.題目的作答說明是否清晰？ 見命題原則： 二、命題原則性 客觀性的試題評鑑主要包括三部分： 1.難度(P) 2.鑑別度 3.選項分析 例如：有道試題50個作答的同學中， 有30位同學答對，則難度為 P=(30/50)*100%=0.6。 難度值P的範圍： 0=P=1 請問P=.4 與 P=.8 這兩道試題， 哪一題對學生而言， 是比較容易答對的？ ※鑑別度通常有兩種指標數值： 1.鑑別度指標(D) 2.鑑別度 ※進行鑑別度分析時，得先確定出高 分組與低分組，因為受試者的各種 能力大都呈現常態分配的形式，因 此，一般建議採用總分最高的前 27%~33%為高分組，總分最低的後 27%~33%為低分組 ※若參與的人數低於15人者則高低分各採50% 鑑別度指標(D)＝ 高分組答對率－低分組答對率 .7 .9 2 .3 .8 1 鑑別度指標 (D) 低分組答對率(PL) 高分組答對率(PH) 題目 劣，需淘汰或修改 0.19以下 尚可，但通常需修改 0.20-0.29 優良，但可能需修改 0.30-0.39 非常優良 0.40以上 試題評鑑標準 鑑別度指標(D) 難度的第二種算法 因應鑑別度採用高低分組， 難度也可以採用另一種計算方式： Distractor Constructs A B C D Construct Expected Distractor probability 每個錯誤選項 每題中的全部錯誤選項 0 16 54* 12 18 低分組(100人) 0 2 95* 1 2 高分組(100人) 4 3 26* 7 28 36 低分組(100人) 0 62* 7 15 16 高分組(100人) 3 9 23 11 25 32* 低分組(100人) 8 48 10 12 22* 高分組(100人) 2 4 18 46 32* 0 低分組(100人) 2 23 39 36* 0 高分組(100人) 1 D P 空白 D C B A 鑑別度 難度 選答人數 組別 題號 *