教育测验与评量特教所98122004赖怡萍10月20-27日笔记信度.DOC

教育測驗與評量 特教所 賴怡萍 ( 10月20-27日筆記 信度： 任何測量都含有誤差，誤差是評量結果（實得分數）和「真實分數(true score)」間的差距。(無法得知真實分數，只能估計或推論 誤差： 系統誤差(systematic errors)：此現象在每次測量均會發生（影響是一致的、固定的）可以想辦法消除 恆定誤差（constant errors）：會影響到所有觀察結果的誤差 偏誤（biased errors）：觀察對象特性的不同而有不一樣的誤差結果 隨機誤差(random errors)：沒有規則，隨機產生，出現的機率不可預測。無法消除 信度的意義： 指測量結果的一致性程度，反應測量結果受隨機誤差影響的程度 信度主要關心系統誤差。 透過對評量工具的效度檢驗，可將系統誤差減小。 系統誤差小則效度高；隨機誤差小則信度高。 信度的特性： 信度是估計的，並非「全有或全無」，而是程度的問題。 「一致性」理論上指的是完全相同情境下，兩組測量結果相符的程度（是否高度相關） 信度根據結果解釋方式，分作「常模參照」和「效標參照」兩種 常模參照測驗的信度類型： 再測信度(考量時間誤差 複本信度(考量內容取樣誤差 內部一致性(考量內容異質性誤差 評分者信度(考量評分者誤差 概化係數 根據評量目的和考慮隨機誤差的因素，以選擇合適的信度分析 再測信度（test-retest reliability）：考慮時間誤差 在不同時間重複施測同一評量工具，一群受試者兩次施測所得分數的相關係數，即是再測信度係數，亦稱穩定係數。 估計時需要納入考量的因素： 重測的時間間隔不能太長（很少超過半年） 測量表現受到記憶效果的影響程度 某些評量工具的性質會因再測而發生質變 不同特質發生改變所需時間的變異性 較適用於動作技能，不適合認知與情意方面的技能 複本信度：考慮內容取樣誤差 所關心的誤差來源是內容取樣誤差，因為題目選擇的隨機因素所造成的分數變異。 複本立即信度—等同係數 □同一段時間施測兩份題本，所得分數的相關係數，僅反應內容取樣誤差 複本延宕信度—穩定且等同係數 □先施測一個題本，等隔一段時間再施測複本，可同時反應時間誤差與內容取樣誤差 內部一致性信度：考慮內容取樣誤差與內容異質性 關心受試者在各評量項目上的表現一致的程度，數值大小反應的是內容取樣的誤差(折半信度，可再用斯布公式校正)，以及題目的同質性程度(KR-20係數、α係數)，優點是只需一個題本和一次測量，便能估計信度 折半信度：將試題拆成兩半，求折半相關係數 斯布校正公式（Spearman）： KR-20係數：考慮內容異質性誤差，用SPSS統計軟體計算 α係數：考慮內容異質性誤差，二元計分(如答對/答錯) 評分者信度：考量不同評分者產生的誤差 計算2名或2名以上的評分者獨立評分一群受試者的表現，計算相關(兩者相關)，或是計算評分者給予相同分數的百分比(符合度) 相關係數— 評分者間：Spearman等級相關(兩位評分者)；Kendall和諧係數(多位評分者) 評分者內：同質性信度係數 符合度— 概化係數(Generalizability theory)：提供了同時估計各種類型誤差對信度影響的理論基礎。即考慮不同誤差組合中，各類誤差對信度影響的程度。 信度的種類與來源： 信度的評鑑： 使用者需要先了解評量的目的與性質，確定影響評量的重要誤差來源，再決定需要評估哪些信度證據。 需考慮 評量目的本質 評量結果是否用於做決策 評量結果在乎是相對誤差或絕對誤差 影響信度的主要因素 評量項目或評量樣本的多寡(項目越多，信度越高) 團體異質性(異質性高，信度高) 估計信度的方法(不同的方法所得信度高低不同) 測量標準誤（SEM）： 對同一個個體以同一評量工具重複評量，所有評量結果會落在真實分數附近，形成一個分配（distribution），這個觀察分數分配的期望值即為真實分數，而其標準差即是測量標準誤（SEM）。 (如何計算區間) ( 教師甄試題目摘錄—信度 （C）用同一測驗對相同樣本前後施測兩次，從其測驗分數中求取相關係數，所得的穩定係數稱為：(A)複本信度(B)折半信度(C)再測信度(D)評分者信度。凡答對一題得一分，答錯無分的一般標準化測驗，適合求哪一種信度？ (A)再測信度 (B)複本信度 (C)庫李信度 (D)折半信度。(87.中師初教代課)A）那一種改變最能提高教師自編測驗(50題)的重測信度？ (A)去掉10題與總分負相關的題目(B) (B)刪去全體學生都答對的10個題目 (C)去掉10題與總分相關最低的題目(D) (D)採用倒扣(校正猜測機率)的記分方法以下有關信度的敘述，