公平有效的评量.ppt

測量工具 評定量尺/評分標準 面向：被測量的知識、技能、理解 量尺：區分不同級別的表現 指標：判斷面向掌握度 面向 量尺 量尺 指標 測量工具 檢核表/實驗 列出可被觀察的行為 清楚、明確、適合學生程度 合理個數（15-20） 測量工具 演講 測量工具 作品量表 找到臨界的作品 陳列排序 比對 評量工具 公平是？ 題數夠不夠？ 分散還是集中？ 無關答案給分嗎？ 書寫工整性算分嗎？ 可以選題目作答嗎？ 題目描述夠清楚嗎？ 評分標準可以先給嗎？ 先有標準還是先看學生答案？ 總結 潛在特質-單一、瞭解結構 被測量者-標準化 測量者-客觀、一致性 測量工具-行為樣本、有效性 QA 公平有效的測量 師資培育中心 陳承德 2016/1/21 測量與評量 本講重點 潛在特質-單一、瞭解結構 被測量者-標準化 測量者-客觀、一致性 測量工具-行為樣本、有效性 瞭解「單一屬性」上的位置 測量的目的 測量的構成 被測量物 測量者 測量工具 被測量物 持久且一般 待測量特質 國文、英文、數學… 應試智慧 先瀏覽，再作答 從容易（熟悉）題目開始 理解指導語與考題的能力 閱讀理解、符號共識 被測量物 持久但特定 待測量之特定特質 國文的修辭、字彙、發音、閱讀理解 穩定的反應心向 選擇題選「C」、是非題猜「是」 題目熟悉度 利用網球情境來測量計算能力 托福的英聽（淘金熱、流感） 被測量物 短暫但一般 健康、疲勞、情緒、動機、溫度、燈光 短暫且特定 暫時性心靈架構 考試前看了報紙報導國際新聞，之後考英文時出現方才國家名稱 特定技巧熟練度 心理動作（鏡像）? 被測量物 公平是？ 理解指導語與考題的能力 選擇一個大家都熟悉的例子作為題目的情境 健康、情緒、環境（燈光、噪音）、時間 測驗前有足夠的練習，確認瞭解作答方式 標準化 不理解有多糟糕？ 剛剛的笑話，好笑嗎？ 好笑 還可以 不好笑 這隻筆多長？ 測量者 客觀 測量者間共識 越多人，越有信心 評分者間信度 大家都說好笑！ 可能真的好笑 測量者 但是當你成為一個獨當一面的助教時，找誰來達成「共識」 老師？ 同學？ 臉書或咕狗大神？ 自己？ 測量者 沒人挺…怎麼辦？ 評分者內信度 穩定的嚴或鬆 給全班0分 超一致?被同學討厭 給全班100分 超一致?被教授討厭 我…覺得…好笑…吧（虛弱） 測量者 與答案有關 字跡 詞不達意 與時空間有關 情緒 環境 與心理學有關 月暈效應(Halo) 對比效應(Contrast) 測量者 公平是？ 找個有力的靠山 穩定的嚴或鬆 改考卷前，先找個愉快空間 一氣呵成 一次只改一題（月暈） 歸零、洗牌 避免知道學生姓名 眾口真能爍金嗎？ 可惜的是，測量學生的「特質」，就像瞎子摸象 「潛在」特質 無法觀察的 布下方蓋著一枝筆，你怎麼量他多長？ 測量工具 至少要…？ 測量工具 1個選擇題，把學生分成2類（對與錯） 2個選擇題，把學生分成？類 … 題目越多?分類越多?測的越好（區辨力） 測量工具 目的在區分整體學生?每個人一類 （常模） 特質（智力）是常態 題目怎麼安排？ 測量工具 目的在區分整體學生?每個人一類 特質（智力）是偏態 題目怎麼安排？ 測量工具 目的在區分會不會某件事?共兩類 （效標） 區分天才 區分及格者 區分低成就者 天才題 低成就題 測量工具 分散 難易度 單元 內容（理解、應用、分析、評鑑） 通常…不太需要助教來出題，老師已經出完了 測量工具 題型 選擇題 填充題 應用題 簡答題 申論題 作文題 實作題 … 有標準答案 沒標準答案 部份給分 沒標準答案 評定量尺 測量工具 部份給分 預先決定正確答案綱要 切割元素 配分