后设评鉴理论研究与实务.pptVIP

台北科大技職所曾淑惠 後設評鑑理論研究與實務 國立台北科技大學技術及職業教育研究所 曾淑惠 重要的議題 後設評鑑理論的推演 當前後設評鑑實務上的問題 「後設評鑑」理論與實務的奠基與前進 起源 後設評鑑的概念，最早源自於一九四O年Orata提出的「評鑑的評鑑」 Scriven(1969)在一份針對評鑑教育產出所擬定的評鑑計畫中首用「metaevaluation」一詞 定義 「對評鑑、評鑑系統或評鑑機制的評鑑」(Scriven, 1974) 「針對評鑑技術的效用性(utility)、實務性(practicality)、倫理性(ethics)、及適切性(propriety)，進行描述、獲取、和使用敘述性及判斷性資料的過程，以便於指引評鑑的實施，並公開報告評鑑的優缺點」(Stufflebeam, 1981) 操作型定義 依據相關的標準─包含評鑑的適切性、可行性、精確性與效用性，以及系統化的本質、正直、尊敬人們、社會責任能力的實踐等─描述、獲取及應用敘述性與判斷性資訊，指引評鑑並報告評鑑的優缺點 對後設評鑑有需求的人(一) 評鑑專業人員 提供改善個別評鑑、發展評鑑取向與工具的方向 獲得並維持對委託人與其他評鑑人員服務的信用 消費者 幫助做成對需取用產品或服務之決定 建立對使用評鑑結果與發現的信心 對後設評鑑有需求的人(二) 對非專業人員的評鑑系統掌管者 確定其機構所提供的評鑑服務符合倫理的、務實的、可用的、及時的、值得投資的等規準 對評鑑的客體 確保原級評鑑品質與用途，並確認評鑑的影響 確認原級評鑑的人員資格、經驗、能力、績效等，符合個人或學生評鑑標準 後設評鑑的功能 評估評鑑工作的品質、影響及運用，降低評鑑結果的不確定性 評估評鑑取向的實用性 說明及控制評鑑實施時的偏差 提供並確保評鑑的績效責任 探討評鑑過程的性質，用以獲得另一種觀點和評鑑獨立的精神 突破學術本位的限制，建立科技整合的研究 糾正對評鑑可能發生的誤用 提供多層面的訓練功能 整體評估各種原始評鑑的效果 促成知識的累積和多元資料的應用 增進評鑑專業的能力 後設評鑑的特點 任何評鑑工作都可以受到評鑑 後設評鑑的方法與一般評鑑中的方法並無不同 後設評鑑進行的過程中，通常會以「教育評鑑標準聯合委員會」所發展的評鑑標準作為評估的基礎 後設評鑑的使用時機必須在評鑑方案實施前、實施中、及實施後分別進行。 後設評鑑的型式 (一) 次級資料分析(secondary data analysis) 依據一套參考標準將評鑑定出等第(ratings of evaluation against a set of criteria) 對研究加以研究(research on research) 後設評鑑的型式(二) 常用的後設評鑑標準 方案評鑑標準 人員評鑑標準 學生評鑑標準 不同評鑑階段實施後設評鑑之焦點 方案評鑑各步驟關切之評鑑標準 運用標準與原則的注意事項 是否考量在我國的文化下，何種標準是可接受或具有功能的 美國的JCSEE評鑑標準，焦點在教育方案、個人與學生，並未設計使用於其他領域。其他國家專業團體設定的評鑑標準的適用性亦需同步思考 對後設評鑑概念的轉移 總結性評鑑 兼有形成性與總結性評鑑 另類的資料再詮釋 全方位的實證檢視 在原級評鑑之中或之後進行 在原級評鑑的前、中、後各有其不同的任務 以美國JCSEE的評鑑標準為後設評鑑主要的效標 除其他國家其他領域專業團體的評鑑標準外，應有其他更週延的考量 後設評鑑的任務(一) 決定並安排與評鑑的利害關係人互動 聘請一或多位有資格的後設評鑑人員 界定後設評鑑問題 適切地選定據以評鑑的標準或原則 簽訂可理解的備忘錄或協商正式的後設評鑑契約 蒐集並檢視相關可用的資訊 後設評鑑的任務(二) 收集必要的新訊息 分析發現 依據選定的標準進行判斷 準備及撰寫必要的報告 適切地幫助委託人及其他的利害關係人解釋和應用發現 後設評鑑的十六項原則性步驟 有資格的後設評鑑人員 具有專業評鑑標準工作知識且有能力選擇並應用標準，以符合特定評鑑指定任務者 結合方法論的專業及能充份了解受評方案者 具有充份的經驗與能力能滿足後設評鑑委託人的需求者 正直、誠實、尊敬人們及為社會謀福祇者 具協商後設評鑑正式合約能力者 能有效溝通並與其他參與後設評鑑的團體合作者 後設評鑑蒐集資料來源 受評者 評鑑者(含承辦單位人員、現場訪評人員 委託人 現有文件及原級評鑑資料 判斷後設評鑑結果 HOW? WHO? WHAT? WHERE? WHEN? WHY? 後設評鑑相關名詞 後設分析(meta analysis):指運用量化的統計技術，針對某一問題，綜合以前獨立研究結果的一種評述程序，焦點置於將相同的研究問題且使用變項類似的研究蒐集回顧、將各研究結