教育测验与评量特教所98122004赖怡萍10月13日笔记前言不同评.doc

教育測驗與評量 特教所 賴怡萍 ( 10月13日筆記 前言： 不同評量目的，需要不同的資料與證據 1.預期、篩選、安置-能與預期有關 □例如預期入學新生的第一年學業成績表現 □將學生文理分組 2.教學或成效-能代表學生學習內容與成果 3.描述能力或是特質-能呈現或解釋該能力或特質 □例如學生「創造力」的評量 效度（validity）：用來判斷評量「結果之正確/合理/適切程度」，「所作推論正確/合理/適切程度」。 1.測驗或評量的有效程度（系統誤差大小） 2.是否測到想要測的（評量的目的） 3.評量結果的詮釋/推論是否正確、適當（評量的回饋） 效度的意義： 「在測驗所規劃的使用情境下，證據與理論支持測驗分數之詮釋的程度。」 用來反應對某個群體實施評量所得結果之解釋和使用的適切性 是發展與評估測驗時最重要且基本的考量 效度的性質： 無法直接測量，但可以從其他資料加以檢驗 重要的效度證據，取自測驗內容與預測構念之間的關係分析 對任何一種評量而言，效度端視結果的詮釋與使用的情境 效度是程度上的差異，並非全有全無 效度是一個整體的概念 效度的種類 內容效度/邏輯效度：評量內容是否具有代表性 效標關聯效度：評量結果與其他外在效標的比較（相關性） 構念效度/建構效度：評量所包含的構念是否為有效的構念 (內容效度的意義 指評量項目是否具有代表性，以反應「可能有無限多評量工作項目」的測量範圍 (內容效度的思考流程 (內容效度的範例：出題類型（如：二位數加減）、試題難易度、鑑別度 (內容效度檢驗方法 專家效度-專家或評量編製者依據其專業知識分析判斷和決定內容是否具有代表性 雙向細目表 內容效度係數 (可能的限制 受評者無法瞭解題意 考試技巧影響測驗結果 內容證據最終還是要回歸受試者在題目上的反應歷程 ※效標關聯效度 依據所獲得的評量結果去推估某種能力的有效程度，即個人在某測驗分數與另一項標準測量的關聯性高低 效標意指這種被推估的能力 關聯則指此評量結果與效標之間的關係 此種相關係數，可用統計的Pearson相關係數計算。 ※效標關聯效度的檢驗方法： 依據效標獲得時間不同，分成預測效度和同時效度 同時效度/併行效度（concurrent validity）：如IQ 測驗做為資優生評鑑的效標 預測效標（predictive validity）：評量網頁設計能力以預測其未來職場所需的電腦資訊能力 ※效標關聯效度的可能限制： 1.要確立效標本身是否有效，才能討論評量工具是否能評出要測的能力或特質 2.要有可資利用的效標關聯證據，必須先確立此效標是否具有構念效度 ￥構念效度的意義： 測驗或評量能夠測量到理論上的構念或特質的有效程度 任何效度證據（內容效度、效標關聯效度）都只是建構效度的部份證據。強調構念可以不斷被修改及檢證。 當理論模糊未顯時，建構效度更顯重要，因為它是測驗所得結果的意義及詮釋的基礎。 構念效度差~~不會有好的內容效度 ￥構念效度的類型： 收斂效度(convergent)：用兩種不同評量方式（如筆試、口試）或工具去衡量同一構念時，所得分數（結果）的相關程度。 區別效度(discriminate)：測驗所描述的構念項目與其他不同構念的相關性低。 ￥構念效度的檢驗項目： ￥構念效度的檢驗方法： 內部一致性分析：相關分析法、團體對照法 外在效標分析：相關分析法、團體對照法 因素分析：利用相關係數考驗測驗所具有共同因素之統計方法 多特質-多方法分析 ￥測驗的構念效度意義與檢驗的複雜性很高，因此需要一批測驗專家進行長期的研究。 影響效度的因素 教學歷程帶來的困擾(教學或練習的影響 施測及評分時的干擾(測驗的實施 學生的身心與反應(受試者因素（成熟因素） 受試群體的特質影響(團體的性質、效標的品質、測驗的品質 ( 教師甄試題目摘錄—效度 （C）下列何者不是影響實驗內在效度的因素？(A)同時事件(B)成熟(C)測驗(D)多重實驗處理的干擾。（96年，南區國中教甄） （A）考試命題採雙向細目表，可以提高試題的：(A)內容效度(B)專家效度(C)外部效度(D)預測效度。A）求取測驗分數與效標之間的關聯，是著眼於哪一種效度？(A)同時效度 (B)表面效度 (C)建構效度 (D)專家效度編製標準化測驗時，會進行所謂「專家效度」，此種作法主要是為了增加何種效度？(A)表面效度 (B)內容效度 (C)建構效度 (D)同時效度。在學習評量中，題目能測量到理論上概念或特質的程度，稱為何種效度 (A)內容效度 (B)專