测验的信度及效度.pptVIP

測驗的信度與效度 陳振明 信度與效度 以打靶為例 信度(reliability) 測驗資料的可靠性 效度(validity) 測驗結果的真確性 信度 信度的意義 測量的一致性(就內容而言)或穩定性(就時間而言)，幾次測驗結果是否一致的程度 範例 一天之內以同一磅秤多次測量某人體重 結果一：大致相同→測量結果可靠 結果二：有顯著性的差異→測量結果不可靠 信度並非「全有或全無」，而是程度的問題。若多次重複測量的結果都非常接近，則說明該評量結果信度高;反之，若各次評量結果的變異大，則信度低。 與物質、生理特徵的測量相較，心理測驗的測量精確度較低。 誤差來源 個人狀況(身體不適、大意) 題目本身的合宜性(太難、太容易) 測驗情境的影響(實施、計分的錯誤) 信度的原理 實得分數與真正分數 實得分數(X)=真正分數(T)+誤差分數(E) 實得分數變異數(S2X)=真正分數變異數( S2T)+誤差分數變異數(S2E ) 信度變異= S2T/ S2X 信度的類型 信度的類型 再測信度（test-retest reliability） 係指以同一種測量工具，對同一群受試者，前後測驗兩次的相關係數。又稱穩定係數。通常時間越長，再測信度越低 常見於：智力、性向、人格等測驗 通常個別化診斷測驗信度係數須達.90，團體測驗為.80，篩選測驗為.60 優缺點？ 信度的類型 複本信度（a1ternate-form reliability） 同一群受試者接受兩種複本測驗的得分之相關係數。 複本常見於團體化測驗，可相互替代使用(例如前後測)，使用便利 複本測驗需要在內容、型式、題數、難度、測驗指導與時間等都需要與原測驗相等， 主要誤差來源：內容取樣、時間間隔、練習效果、學習遷移 優缺點？ 信度的類型 內部一致性係數（coefficient of internal consistency） 反映測量工具內部同質性、一致性或穩定度。同質性越高，代表量表試題是在測量相同的特質。常用方法有： 方法 庫李(KR20)(1937)適用於二分變數(對錯)的測量 Cronbach’s α(1951)適用於多元尺度變數(多元計分)的測量 折半信度（split-half reliability）：測驗題目依題目的單雙數或其他方法分成兩半，計算受測者在兩半測驗上的分數的相關係數。 優缺點？ 信度的類型 評分者間信度(inter-rater reliability)： 不同的評量者的觀察、紀錄、評分的一致性。 傳統：相關係數、同意百分比法 近代：類推性理論 影響信度的因素 影響信度的關鍵因素是測量誤差，可以減低誤差的方法，即能夠提高信度。 基本原理：中央極限定理 、測量標準誤、共變量的計算 影響信度的因素 受試者因素（如受測者的身心健康狀況、動機、注意力、持久性、作答態度等變動） 主試者因素（如非標準化的測驗程序、主試者的偏頗與暗示、評分的主觀性等等） 測驗情境因素（測驗環境條件如通風、光線、聲音、桌面、空間因素等皆有影響的作用） 測驗內容因素（試題取樣不當、內部一致性低、題數過少等） 時間因素 效度 效度的意義 效度的意義 測量的正確性，指測驗或其他測量工具確能測得其所欲測量的特質或功能之程度 測量的效度愈高，表示測量的結果愈能顯現其所欲測量對象的真正特徵 評估效度的方法 判斷法（informed judgment） 測量特性與質的評估 實徵法（gathering of empirical evidence） 根據具體客觀的量化指標來進行評估 效度的類型 內容效度（content validity） 效標關聯效度（criterion-related validity） 建構效度（construct validity） 內容效度 （content validity） 內容效度 反映測量工具本身內容廣度的適切程度，強調測量內容(教材內容或預期的行為)的廣度、涵蓋性與豐富性 ，以做為外在推論的主要依據。 針對測量工具的目標和內容，以系統的邏輯方法來詳細分析，又稱為邏輯效度（1ogical validity） 表面效度（face validity），指測量工具在外顯形式上的有效程度 限制：出於邏輯判斷，缺乏實證的統計數據評估指標，需以判斷法來進行效度評估 內容效度的判斷方式 專家效度 雙向細目表 表格左方表示教學所欲達成的目標，上方表示教材內容範圍，並逐一檢視每一試題以考驗整份測驗之內容效度 雙向細目表 提高內容效度的方法 列出教材內容各項重點與所要測量的學習結果或行為 各項教材重點和學習結果要以相對的重要性來加權 依據雙向細目表來編製測驗，所編製的測驗越符合細目表各細格所佔的比重，則內容效度越高。 效標關聯效度意義 （criterion-r