受试者的能力排序试题选项的选答率.ppt

* * 桃園縣深耕種子教師 福豐國中 郭俊麟 一、理論基礎 加拿大心理計量學者Ramsay結合高低試題鑑別指數與核平滑無參數估算法，發展出正確選項與誘答選項均可分析之核平滑法無參數試題特徵曲線估算法（kernel smoothing approaches to nonparametric item characteristic curve estimation）於1991年發表於Psychometrika 期刊上。 核平滑（ kernel smoothing ）就是被估計的受試者加以排序後的函數和試題選項是否被選（選則指示值為1，否則為0）而成為二元變數（binary variable）之間的關係。 此方法並無假設任何適當的模式，完全根據受試者實際作答資料來進行分析，是一種無參數的試題反應理論。（ Ramsay ，1991） Ramsay 根據上述理論發展出 TestGraf98 軟體，可估計選項特徵曲線（option characteristic curve ，OCC）。軟體為一分享軟體（shareware），可在http://www.psych.mcgill.ca/faculty/ramsay/TestGraf.html 網頁免費下載，（楊志強教學資訊網 .tw/~cyang 亦有連結，點選公告事項/TestGraf98下載一），參考文獻暨操作手冊亦可同時下載。 二、選項特徵曲線 選項特徵曲線的特性是利用圖形化的方式來記錄或比較資料及數據，這將會比繁冗的文字敘述或單純的數字表現來得詳盡且清楚。 以受試者的能力（團體中的排序）為橫軸，而以受試者在某一試題之選答率為縱軸，事先並無假設其服從某一特定之試題反應模式，完全根據受試者之作答資料，配合上述之核平滑化法，得一平滑之曲線圖。 選項特徵曲線對於診斷試題的問題能提供有效的幫助，它能決定是否重新命題以消除曖昧不明的試題選項或是提供較合理的誘答選項。 以下圖例，正確選項以綠線呈現，錯誤選項則以紅線呈現，說明選項特徵曲線的意涵與解釋方式。 正確選項是2，正確選項具有良好的鑑別度，能力愈高的受試者通過率愈高，能力愈低的受試者通過率則愈低。其它錯誤選項具有誘答力，能力愈高者愈不會選擇錯誤選項，能力愈低者選擇錯誤選項的比率就愈高。 整體而言，這個試題是鑑別度與誘答力兼具的優良試題。 受試者的能力排序 試題選項的選答率 如下圖所示，正確選項是3，正確選項在能力低於25％以下的受試者具鑑別度，對於能力高於25％以上的受試者不具鑑別度。所有錯誤選項僅對能力低於25％以下的受試者具誘答力。整體而言，這個試題過於簡單，對於中高能力的受試者不具鑑別力。 受試者的能力排序 試題選項的選答率 如下圖所示，正確選項是2，正確選項在能力介於5％至25％之間的受試者鑑別度不佳，而且錯誤選項不具誘答力。 受試者的能力排序 試題選項的選答率 三、TestGraf98 軟體操作 在未執行 TestGraf98 之前事先需要輸入原始測驗資料，才可啟動程式進行試題分析。 舉例而言，有一份5題的四選一選擇題試卷，共有10位受測者。 TestGraf98所需的測驗資料，須以記事本、Wordpad、Word或其它文書處理軟體事先輸入原始資料，以文字檔（text file）型式儲存，再供TestGraf98讀取。以下一張投影片為例。 首先開啟記事本，輸入資料； 第一列資料需宣告有5題試題，座號代碼為2個字元； 第二列資料為正確答案，00為座號代碼，1、2、4、2、1分別為第一題至第五題的正確答案，第三列起為十位受測者的測驗資料。 輸入完畢以文字檔形式儲存，自行命名該筆資料。 以記事本輸入測驗資料 四、操作步驟 點選執行檔Testgraf98.exe啟動Testgraf98程式。開啟畫面如下圖示。 Testgraf98的啟動畫面 第一步驟顯點選New選項，開啟test.txt之後，會先後出現「圖一」與「圖二」的對話框詢問試題型式，逕行點選 OK 即可。 圖一 試題型式對話框（一） 圖二 試題型式對話框（二） * * * *