项目分析（Item Analysis）.PPT

項目分析（Item Analysis） Purpose of item analysis 項目分析的功能 診斷測驗題目優劣 提供測驗題目的計量特性的訊息 改善量表的品質 項目分析的主要方法 誘答分析（distractor analysis） 項目難度（item difficulty） 項目鑑別度（item discrimination） 誘答分析（distractor analysis） 應用於multiple-choice item 正確答案型試題 最佳答案型試題 誘答（distractor）: 錯誤的答案(似真答案) 下列何者不是學者 A. 劉兆玄 B. 劉兆東 C. 劉兆漢 D. 劉兆明 誘答的被選機率應該趨於一致 高機率誘答：增加試題的難度，不一定提升試題的品質 低機率誘答：降低試題的難度，破壞試題品質 項目難度（item difficulty） 測驗題目對於所測量的特質內容應該具備相當程度的敏感度與偵測力， 適當的難度水準，使測驗的總分能夠反應受測個體的特質強弱 通過人數百分比（percentage passing） 所有受測者在該項目上正確答對的百分比 越高的百分比（p值越大），表示題目越簡單 例如p=.7代表有百分之七十的受測者可以正確答對該題（通過該題），p=.2代表只有百分之二十的受測者可以正確答對該題，是一個比較難的題目。 通過率的數值是一個順序尺度，而非等距尺度 ?指標 標準化難度係數 項目難度p值轉換成標準分數後，再以公式轉換成一個沒有負數、平均值為13，分數介於1-25的（delta）難度係數 ?指標=13+4Z ?越小，難度越高，答對的人越少； ?越大，難度越低，答對的人越多。 難度高低對於測驗分數的影響 難度高低 影響測驗平均數的高低 影響測驗的變異量 影響測驗的偏態 項目鑑別度（item discrimination） 項目鑑別度 測驗項目能夠精確、有效的偵測出心理特質的程度。 項目鑑別度是指一個題目能夠正確的鑑別出受測者在某一個心理特質或行為傾向上的個別差異的程度 項目鑑別度的作法 與特定效標的比較，也就是項目效度（item validity）的考驗， 測驗項目間的一致程度（internal consistency）來探討 極端組比較 具有特殊屬性的受測者在各題通過率的差異反應測驗題目的鑑別度。 根據某一個效標，我們可以將受測者的得分依照高低順序排列，然後選出最高分（前27%）與最低分（後27%）的兩群人，稱為效標組。 計算每一個題目在這兩個效標組的得分平均值MH與ML 利用t考驗，即可以檢定兩者差異的顯著性。 鑑別指數（the index of discrimination） 鑑別度D值 適用成就與能力測驗 兩個極端組的得分情形換算成通過人數（答對者）百分比。以pH與pL來表示， 將這兩個百分比相減，可以得到一個差異值D，用來反應一個題目的鑑別力。 鑑別度指數D值介於100到-100。 D=100代表高分組的受測者全部答對（p=1.00）而低分組的受測者全部答錯（p=0.00） 如果高分組與低分組的受測者都有一半的受測者答對（p=0.50），D值為0 D值越高，鑑別度越高；對於整個量表來說，如果每一個題目的鑑別度都很高，全體的D值平均數越高，測驗的整體信度也就越理想。 相關係數法 適用非認知測驗 求取受測者在每一題的得分與效標變項的得分的共變情形（也就是相關係數），來表示項目的鑑別度。 相關越高，代表受測者該題得分高者，在效標得分也高，在測驗題目上得分低者，在效標得分也低；如果相關很低或是呈現負相關時，表示測驗題目得分高低與效標得分高低沒有一致的方向，也就表示項目沒有鑑別度。 項目反應理論 項目反應理論（item response theory） 項目特徵曲線（item characteristic curve） * * A B C D Construct