评分一致性训练-奇美医院.PPT

評量方法的基本要件 信度 指這種評量方法的所得到分數的一致性 效度 指這種評量方法是否可以忠實測量所指定的項目 可行性 這項評量方法必須是務實辦得到的 具體資訊價值 這種評量方法價值能夠真實反映住院醫師能力及專業 訂定教學內容 到底該具備什麼樣的臨床技能呢 符合國家或專業需求 忠實反映訓練課程成果 技能的範疇包括 病史探問 身體檢查 溝通技巧 操作性技能 等等 能力導向的訓練課程 確認醫師應具備的能力 ACGME 六項能力要件 TJCHA 核心課程 醫學院校校長共識 撰寫具體學習目標 決定適當教學方法 內容 方式 內科部UGY整合核心課程 內科部UGY整合核心課程 內科部UGY整合核心課程 試題開發–確保效度 試題開發流程 優先規劃OSCE整體方針 教案數量 配比藍圖 工作分配 OSCE教案開發撰寫人 考官與標準病人訓練試演 檢討修訂表演與教案 試考，檢討修訂評分表與教案 USMLE Step 2 CS 以病歷詢問為考試重點的 OSCE測驗站 (Focused history taking OSCE station), 以身體檢查為考試重點的 OSCE測驗站 (Focused physical examination OSCE station), 以提供諮詢為考試重點的 OSCE測驗站 (Focused consult OSCE station), 以急診室情境為考試重點的 OSCE測驗站 (Emergency Room OSCE station)。 考試藍圖 試題開發 依照藍圖安排 測驗站數 場地設備 時間 設計場景、劇情 安排訓練 標準化病人 考官、評分者 單一試題開發步驟 建構試題製作標準與測驗藍圖 運用試演、修訂、驗證三步驟，促進教案品質 德爾菲法緣起 Delphi Method「德爾菲法」係1950年代，由美國蘭德﹙RAND﹚公司Dalkey 以及Helmer 提出為預測蘇聯以原子彈轟炸美國時，可能產生的效果，而發展出一種透過群體溝通歷程的預測方法。 充分資訊交流 利用連續結構化問卷，進行反覆的調查。 匿名化群體共識 反覆詢問，並提供前次反應情況，供當次回答之參考，是一種介於問卷調查法與會議法之間的研究方法。 綜合專家意見 每次調查後，填答者再根據回饋資料重新作判斷，最後呈現的群體判斷的意見，可以反應出群體共識的程度和不同意見的分佈情形。 目前的應用領域可用於歷史事件、經費預算、都市規劃、教育、政治、社會、心理等人文社會現象的研究。 評分一致性訓練–確保信度 考官訓練原則 確立臨床技能考官訓練標準與認證制度 分階段培育臨床技能專家 考官訓練 舉辦臨床技能相關訓練課程與研討會 安排參加院(國)外的相關訓練課程 增加評分一致性的認證訓練，以確保評分品質 鼓勵醫師參加臨床技能訓練課程 評分一致性訓練 各科分別遴選至少3 位具有良好信度(Intra-rater reliability Cronbach’s α 0.8)與效度(Validity coefficient0.9) 的演員。 依照各科所提供的具有鑑別度(效度)的OSCE 不同個案劇本進行『標準化OSCE 示範用範例』的錄影帶製作。 提供各科評分者於同日之前測(pre-test)、後測(post-test)及二週後的後測(long term post-test)示範用。 挑選演員與劇本 由各科專家(導演)針對OSCE 劇本教導、訓練標準病人，訓練後則再進行標準病人的評分及其個人的信效度分析，確定該演員的演出具良好的一致性。 擇定案例正式進行『標準化OSCE 示範用範例』錄影帶的錄製。 錄製鏡頭至少有三個以掌握： 學生與標準病人的互動 標準病人的表現檢查過程之表現。 評分一致性訓練 擴大參與對象I 所有主治醫師皆需參加考官一致性認證訓練課程，以達全院全面執行之目的。 2009年10月12日至2010年1月11日，長庚醫院舉辦34場次訓練課程。 訓練成果：共有575位參與訓練。 評分一致性認證 I 前測 訓練上課當天，所有評分者依照標準化OSCE 示範錄影帶內容進行評分(前測)，之後由熟悉該錄影帶劇本的專家或編者進行評分重點(Criteria)及OSCE 個案進行應注意的細節解說 後測 待專家解說完畢，則立即進行同日後測，透過另一標準化OSCE 示範錄影帶內容進行評分 評分方式採Likert type Scale, 1~5 分級評量，以分析受試評分者當日前測、後測的一致性(inter-rater reliability, intra-rater reliability)。 評分一致性認證 II 經統計分析後，具有良好一致性的評分者(Cronbach’s α 0.8)則可於二週後進行再測(intra assay) 反之未達一致性良好的評分