信度分析效度分析項目試題分析.ppt

信度分析、效度分析、項目(試題)分析 台灣藝大 Shih Chun Ming 信度的基本概念 指個人在不同時間或不同情境以「相同的測驗(或複本測驗)」測量多次，所得結果的一致性。 效度的意義 所謂效度是指衡量的工具是否能真正衡量到研究者想要衡量的問題(命中率)。 估計信度的方法 再測信度 複本信度 內部一致性信度 折半信度 庫李信度 Cronbach’s α係數 觀察者信度(評分者信度) (1) 再測信度 指使用同一個測驗「先後」測量受試者兩次，然後計算兩次分數的相關即稱為「再測信度」。 (2) 複本信度 指「同時」測受試者兩種版本的測驗，然後計算兩次分數的相關即稱為「複本信度」 。 (3) 內部一致性信度 僅實施測驗一次，而以受試者在某測驗各題目子集得分間之相關來估計。 如果受試在某測驗各題目之表現相當一致，那該測驗就具有相當程度的題目同質性(item homogeneity)。 類型： 折半信度(Split reliability) 庫李信度 (Kuder-Richardson reliability) Cronbach’ α信度 內部一致性信度---折半信度 只根據一次測驗結果計算，主要以隨機或奇偶題方式將題目分成兩半，然後計算兩半分數後求其相關。 由於只提供半個測驗的信度，故需校正。 內部一致性信度---庫李信度 與折半信度不同在於不必將測驗分成兩半而估計信度，主要在求取受試者對整份試題反應的一致性。 適用於記分為「非對即錯」的測驗。 內部一致性信度--- α係數 α係數是由Cronbach於1951所發現，所以又稱為Cronbach α係數。它是由KR20 公式所衍生而來的，也屬於探討測驗內部一致性的技巧，主要適用於「多重記分」的測驗，如李克特五點量表。 Likert scale SPSS實際應用 信度分析 Reliability Analysis 項目(試題)分析 Item Analysis 項目(試題)分析 一種評鑑試題好壞的分析技術，包括對試題內容做「質的分析」，以及對試題的統計特徵進行「量的分析」。 質的分析→評鑑試題內容取樣「適切性」及「性能」。 量的分析→針對試題進行「難度分析」、「鑑別力分析」及「選項分析」。 (1) 難度指數分析 「難度指數」係指測驗的難易程度，常用計算方法為通過百分比分析。 以「全體受試者」答對某題人數的百分比來表示。 以「高低分組」答對某題人數的百分比來表示。 其P值越大，該題越容易。 優點：實用性較高；缺點：無法表示差異程度 (2) 鑑別力分析 目的在確定試題是否具有區分受試者能力高低的作用。 主要方式為採用「鑑別力指數」(discrimination index)，即以總分作為「分組」依據，然後計算高低分組在每一題通過百分比的差距。 高低分兩組平均數差異顯著性檢定 Levene考驗： 若p0.05，表示兩組變異數未達顯著差異，亦即變異數同質，將使用Student’ T考驗 若P ≤ 0.05，表示兩組變異數達顯著差異，亦即變異數異質，將使用Cochran Cox的T’檢定 。 T檢定： 若p0.05，表示兩組母群平均數差異未達顯著 若p ≤ 0.05，表示兩組母群平均數差異達顯著 信度分析與項目分析撰寫範例 計算量表總分 找出前27%以及後27%的受試者得分。 利用百分等級 將高分組及低分組編碼 高分組：60分以上，編碼為1 低分組：49分以下，編碼為2 進行高低分組平均得分顯著性考驗 * ? 24 ? 25 E ? 19 ? 18 D ? 15 ? 15 C ? 21 ? 20 B ? 12 ? 10 A 名次 分數 名次 分數 第二次 第一次 學生 .64～.88 羅桑二氏非語文智力測驗 .64～.88 羅桑二氏語文智力測驗 .58～.78 國民智慧測驗（乙類） .77～.84 國民中學智力測驗 複本信度 測驗名稱 9 7 5 4 4 3 5 9 10 4 5 5 5 4 2 3 1 1 2 1 3 9 9 5 4 5 4 2 7 7 4 3 4 3 1 H2 H1 a4 a3 a2 a1 兩半測驗 題目 受試 KR20計算實例 □ □ □ □ □ 4. 乾網站的連結速度很快 □ □ □ □ □ 3. 該網站提供了很多產品資訊 □ □ □ □ □ 2. 該網站的設計感覺很棒 □ □ □ □ □ 1. 該網站上的內容很豐富 ( 5 ) ( 4 ) ( 3 ) ( 2 ) ( 1 ) 非常 同意 同意 無意見 不同意 非常 不同意 在以下敘述中，請按照您個人瀏覽奇摩網站的感覺，來勾選適合的選項： 信度分析步驟 刪除項目後之量尺：把該題刪除後，其餘各題加總後的M與SD 尺度：各題加總後總分之平均數與標準差。 項目：各題得分的平均數與標準差。 題