Part04-1.ppt.pptVIP

Interpretation of Test Scores 林陳涌 師大生物系 試題分析 試題的品質除了發展前需注意事項外, 尚可在測試後藉由統計的方法來了解試題的品質. 提高試題的品質以增進測驗的信度與效度 試題分析可提供的資訊 題目的功能是否如預期? NRT CRT 題目的難度是否適當? 題目是否有缺點? 題目的誘答是否有效? 試題分析的功能 回饋給學生 回饋給老師 提供改進課程的依據 增進教師命題的技巧 試題分析的步驟 1. 根據總分的高低依序排列試卷 2. 從最高分部分向下取總人數的27%為高分組(higher group), 再從最低分部分向上取總人數的27%為低分組(lower group)* 以27%所數據的可靠性最大, 一般合理的百分比在25%--33%之間. 試題分析的步驟 3. 分別計算高低分組在每個試題答對人數的百分比 PH PL 4. 計算每題難度指數 P = (PH + PL)/2 5. 計算每題鑑別度指數 D = PH-PL 6. 檢查每一題所列選項的回答人數, 以確定誘答力 難度……. 難度分析 難度分析的主要目的在確定每一個試題的難度. 最簡單的是計算全體受試者答對每議題的人數的百分比. P=R/N(100) 有分高低分組則 P = (PH + PL)/2 難度指數的意義 難度指數數值越大, 表示題目越簡單 難度指數數值越小, 表示題目越難 這種難度指數是一種順序量尺(ordinal scale), 無法說明各難度之間的差異大小. 這種難度指數容易計算與使用, 若要發展較精確的工具, 可使用等距量尺(interval scale)分析. (P. 263) 試題難度與測驗分數的分配 難度高的測驗, 如題目的難度均落在 P? .25時, 其分配型態是正偏 題目難, 無法區別能力較低的學生 難度低的測驗, 如題目的難度均落在 P?.80時, 其分配型態是負偏 題目簡單, 無法區別能力較高的學生 現在高中聯考的觀點 試題難度與測驗分數的分佈範圍 比較 三組的 變異數 (分布範圍) 信度 難度集中在.5 難度分散在 .1-.9之間 難度分佈在兩端 .1-.3, .8左右 鑑別度 鑑別力的分析法  內部一致性分析 旨在了解各個試題的功能是否和整個測驗的功能相符合一致. 此分析的假設是:整個測驗的分數具有某種程度的效度, 如果此假設成立,則個別的反應若和總分數之間具有一致性, 就表示題目有某種程度的效度. 鑑別度指數 D = PH-PL 鑑別度指數 鑑別度指數介於 -1.00--+1.00之間 指數愈大, 鑑別度愈高 指數愈小, 鑑別度愈低 鑑別度為0的因素可能 題目太難獲太容易 題目不清楚 難度與鑑別度的關係 圖8-4 試題選擇的標準 評鑑試題的優劣, 沒有一定的標準. 通常 先選出鑑別度較高的題目 在從中選出難度指數較適中的題目 鑑別度的評鑑標準(Eble, 1979) 鑑別指數 試題評鑑 0.40以上 非常優良 0.30--0.39 優良, 可能需要修改 0.20--0.29 尚可, 通常需要修改 0. 19以下 劣, 淘汰或修改 難度的評鑑標準 以接近 0.50的試題最為適宜 很難全找到 接近0.50的試題 選題仍需視測驗的目的 興趣 雙向細目表的分配, 但需力求全測驗的平均難度接近0.50 選目的有效性分析-1 組別 選目 A B* C D N D P 高分組 2 16 1 1 0 0.4 0.6 低分組 5 8 4 3 0 選目的有效性分析-2 組別 選目 A* B C D N D P 高分組 14 0 0 6 0 0.1 0.65 低分組 12 0 8 0 0 選目的有效性分析-3 組別 選目 A B C* D N D P 高分組 9 0