冯意哲医师.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 及格標準設定 實作評量之標準設定方法，大致可以歸納成三大類(Berk, 1984, 1986; Hambleton, 1990; Hambleton Zaal, 1991)： 1. judgmental methods Nedelsky method Ebel method Angoff method 2. Empirical methods Livingston method Linden Mellenbergh method 3. Combination methods Borderline-group method Contrasting-group method * * OSCE及格標準設定建議 Borderline group method + regression(2011年採用） 計算方法 Step 1. 令Y:考生的checklist總分 X:考生的global rating總分 Y=aX+b 求出每一站 a, b Step2. 以X=2.5帶入，得到每一站的及格分數， 並得出不及格站數之考生 Step3. 將各站及格分數加總， 得十二站總分之及格分數 Example from Boursicot(2003) 譚克平教授 y=ax+b * * OSCE及格標準設定建議 Angoff method（考試前訂定及格標準） 執行方法 請專家就每一個試題中，最低能力考生所可能答對之機率，進行評定。 將每題可能答對之機率加總，便成為該專家所判斷的通過標準。 再將數位專家之判斷的通過標準加以平均，便成為該測驗之最後的通過標準。 ■出題時同時訂定及格標準。 Angoff方法 ??1971 ??popular ??很多變種 ??Modified Angoff ??Extended Angoff ??Yes/No 譚克平教授提供 Angoff方法 學科專家 開始時，評審團在會議中對所有題目做判斷 想像minimally competent examinee的學生 如有需要可彼此討論 需發揮想像力 答對的機率 很多標準設定專家小組有10-15人 譚克平教授提供 修正的Angoff流程 目前並未有一致的定義 Reckase（2000）曾提出分為下述五個步驟進行： 1. 選擇設定標準的人員； 2. 訓練設定者。 3. 要求設定者定義並描述受試者應當達到的表現 水準。 4. 令設定者估計（最低能力）受試者在每個試題 上的表現。 5. 引導設定者檢視實徵資料，如：試題的難度水 準（P值）。 Angoff方法 譚克平教授提供 Angoff方法 譚克平教授提供 瞭解評分表項目 勾選 ← 考官注意事項 評分時： 評分表填寫。 整體表現評直覺勾選一項。 考官注意事項 考試結束後： 每一考生結束時請確認評分表每一欄位皆已完成評分。 待工作人員清點、確認後，始得離開考場。 * * * * * * * * * * * * High-stake OSCE 考官核心課程 OSCE評分表與及格標準之制定原則 OSCE評分共識建立 OSCE 評分 標準化病人 考官 評估表 考題 信度 (reliability, repeatability, reproducibility) the ability to perform its functions consistently 效度 (validity) the tool measures what it claims to measure OSCE 評分 信度 信度是指可靠性或一致性 信度好的指標在同樣或類似的條件下重複操作，可以得到一致或穩定的結果。 通常用測試與再測試方法（test-retest method）來檢視一個指標的穩定信度，也就是將同樣的指標對同一群體重新施測，如果每次都得到同樣的結果，則此指標即有穩定信度。 效度 指概念定義（conceptual definition）及操作化定義（operational definition）間是否契合。 測量的效度比信度