对某群受访者有信度的问卷不一定对其他族群的受访者也有信度.PPT

衡量工具的錯誤 不明確的問題 糢糊不清的問題 不明確的指示 被社會接受的答案 受訪者不知道答案 蓄意撒謊 效度 在衡量的地方註明系統錯誤 有效的衡量工具會衡量要衡量的東西, 一切要衡量的東西, 和只有要衡量的東西 表面效度 項目看起來有衡量重要的東西 對發展問卷的人看起來有效 或 對填問卷的人看起來有效 衡量工具的外在 可用Field Test來查證 內容效度 測驗是否有公平的衡量到重要的項目? 測驗是否具有代表性? 作法: 請專家檢視測驗的內容 不以數字表示 預測效度(效標關聯效度) 測驗成績可否預測未來某項表現? 以測驗結果來預測未來某時間發生的事 通常使用correlation分析 可用在已知事實上 Ex: 領導測驗是否可以區分哪些人可以成為好的領導者, 而哪些人不行? 同時效度(效標關聯效度) 拿結果和某項當時表示比較 通常使用correlation分析 可用在已知事實上 通常被用來取代某種較複雜的測驗方式 建構效度 想知道有哪些心理上或其他因素可用來解釋測驗上的變異 測驗成績可以如何被解釋？ 測驗中有哪些心理上的構念? 作法：因素分析或假設測試 信度 衡量工具可否一致地衡量要衡量的東西? 同義字： 可靠性 穩定性 一致性 可預測性 正確性 信度以錯誤定義：錯誤越少信度越高 測驗-再測驗(兩次測驗) 製造出穩定係數 對同一族群在兩個時間點做測驗 係數會因時間改變, 所以必須表示時間 : r(一週) =.77 兩次測驗期間越長, 係數越小 測驗一次 等值係數或內部一致係數 等值: 測驗結果與另一個同時做的等值測驗結果的符合程度（平行做法） Ex: 用兩個相似的測驗做前測與後測 被稱為平行或等值測驗 做法：施測, 項目分析, 用兩個困難程度相同的測驗 內部一致性 A. 對分法 B. Alpha 或 K-R 法 一次測驗 1. 施測 2. 計算信度 A. 把測驗對分: 奇數-偶數, 前半-後半 r是長度的函數,做短測驗須修正 ALPHA OR K-R K-R 20, 21 CRONBACH’S ALPHA 用所有可行方式將測驗對分並intercorrelate 不能用在速度型的測驗 用K-R 20分析是非題, 選擇題, 配合題 用Alpha 21分析多重回答類型: 尺度量表 因素影響信度 1. 項目越多,信度越高 2. 作答時間越多,信度越高 3. 困難度越低,信度越高 4. 越客觀,信度越高 5. 猜對的機率越高,信度越低 6. 成績的不正確性越高,信度越低 7. 同質性越高,信度越高 8. 受訪者的經驗越相同,信度越高 9. 題目中的陷阱越多,信度越低 10. 對題目的誤解越多,信度越低 提高r 用不含糊的項目 增加同種和困難度相同的項目 用清楚和標準的指示 r值取決於成績的分散度, 所以得分都相同的話, r值會很低 對某群受訪者有信度的問卷,不一定對其他族群的受訪者也有信度. 效度係數不能超過r的平方根 r要多大才可接受? NUNNALLY: …看使用地方. “在早期對於構念的假設衡量研究,用中等 r (r=.5~.6)可以節省時間和金錢.” 適合度 效度的一部分 “工具是否合適於觀眾?”— Field Test 可讀性:FOG Index (Many others available) 隨機抽樣100字, 計算句數. 字數/句數=平均每句長度 在100個字中算出三個音節以上的字數, 刪除簡單字的組合和有ed或es的字, 刪除大寫字=%困難字 受教育年數=(平均每句長度+ =%困難字)(.4) 大部分人偏向閱讀比受教育年數少兩年的程度 * *