评监的误用.PPT

台北科大技職所曾淑惠　　（PART I) Patton以利用為焦點的評鑑 指導老師：鄭新輝 博士 報告人：蔡秉憲　報告內容 Michael Quinn Patton簡介 「以利用為焦點的評鑑」之意涵 「以利用為焦點的評鑑」的前提 「以利用為焦點的評鑑」的實施流程 「以利用為焦點的評鑑」的議題 「以利用為焦點的評鑑」的特色 結論與建議 Michael Quinn Patton簡介 Michael Quinn Patton at IDRC leading a workshop on evaluative thinking. (IDRC?Photo: Kevin?Conway) Patton在國際發展研究中心領導了一場關於評鑑思想的研討會。 「以利用為焦點的評鑑」之意涵 Patton（1997）將方案評鑑定義為：是系統化蒐集有關方案的活動、特徵與成果的資訊，以判斷方案、改進方案效能、並通知有關未來方案規劃的決策歷程，是一種為特定使用者在特定用途上所做的評鑑。 評鑑中的目的可以是形成性、總結性或發展性的、任何一種類型的資料（質化、量化、混合）、任何一種設計（實驗的、自然探究的）、任何的焦點（過程、成果、影響、成本／效益等）、評鑑的成功與否是由評鑑的實用性以及真實的使用狀況來判定（Patton,2000）。 增進評鑑的實用性（Patton,1994） 評鑑人員定義並了解決策者的個人特質。 定義並將焦點置於相關的評鑑問題。 在評鑑的過程中，重點放在質性方法論運用，同時也要關切方案中變數的陳述。 方案行動理論的建構必須以「對結果的意義」來思考。 不同資料蒐集方法的選擇，是依不同情境而定，並非事先指定的。 實例一：企業界 實例二：學校 「以利用為焦點的評鑑」的前提 意圖使用者對意圖使用的承諾是評鑑的趨力。 有關於使用的策略規劃，是從評鑑一開始就進行，並且是持續性的。 評鑑是使用者導向的，焦點在特定的、可定義的個人。 界定主要的意圖使用者，焦點圍繞在意圖使用者對方案所持有的興趣。 將焦點置於一些事項上，置於意圖使用者的意圖使用是最有用的。 將焦點置於意圖使用者上，需要有計畫且深思熟慮地選擇評鑑的目的與用途。 意圖使用者的高品質參與，會導致高品質、有用的評鑑。 「以利用為焦點的評鑑」的前提 有用的評鑑必須是情境化、適應性的設計。 目標是高品質的參與，而不是大量的參與。 評鑑人員在信用及正直受到質疑時，對評鑑有利害關係，因此評鑑人員要「行動－反應－調適（active-reactive-adaptive）」。 評鑑人員要承諾去促進使用。 評鑑的使用會由於報告的與傳播的對象與方法等而有所不同。 報告與傳播可由不同的意圖使用者拿來做決策、改進方案、改變思想及產生知識。 考量財務及時間成本，明確指出並編列預算才不致於使實用性缺乏資源而受限。 以利用為焦點的評鑑的實施流程 界定意圖使用者：以利害關係人（shakeholder）的分析為起點，定義意圖使用者的利益，找出主要的意圖使用者。這些意圖使用者可以任何形式參與討論。 評鑑者和意圖使用者對評鑑的用途須達成共識，並決定評鑑的焦點：評鑑者和意圖使用者必須對評鑑的用途、方案的實施、對方案的認同度等達成共識。 研究方法、測量及設計的決定：對於研究的設計如量化或質性的資料，研究方法的適切性、實用性、準確性、成本加以討論。 發送評鑑報告：評鑑發送的對象，除原先的意圖使用者之外，也可以發送給一般大眾，以符合公共績效責任。 實施流程圖 「以利用為焦點的評鑑」的議題 Patton（2003）認為評鑑時需要注意以下八項議題： 使用者的反應與技術品質：確保採用的方法與量測是適切的。 使用者的重組：在評鑑過程中可能流失原有的意圖使用者，因此必須重新安置與組織。 建立評鑑使用的能力：發展行政管理、職員對評鑑邏輯與價值的了解、發展特定的程序以將評鑑整合到方案的規劃與發展中、將評鑑與組織的學習相連結等。 依評鑑的目的改變評鑑人員的角色：評鑑人員所要扮演的角色會依評鑑目的與使用者的需求來改變，唯一不變的角色是協商者的角色。 「以利用為焦點的評鑑」的議題 「以利用為焦點的評鑑」的特色 重視情境評鑑（situational evaluation）：評鑑的使用乃是使用者根據自身的需求選擇一個最適當的內容、模式、方法、理論或用途的過程，一個評鑑是依據一群相關的人及他們所處的情境而設計的。 強調意圖使用者的參與：評鑑焦點在意圖使用者身上，評鑑者的角色僅是協助意圖使用者達成做決定的目的，評鑑者與意圖使用者需要在評鑑過程中不斷協商。 重視評鑑者與意圖使用者的協商過程：評鑑者與意圖使用者之間的協調過程是「主動—反應—調適」。 評鑑設計彈性化：Patton主張方法論的混合，強調採用三角檢證來強化研究的結果，這樣的結果呈現了不同研