(题目)难易度测验题目难易度的分析.PPT

拿朱錦鳳pptp46-47 在估計個人特質時，應摒除測驗特性的影響，將題目難度與特質分數轉化成相同的量尺，對測驗結果的解釋與預測，有很大的幫助 項目反應理論已被大規模的測驗計畫所採用，為提高估計特質的精確性，可利用電腦程式來估計受測者的潛在特質 項目難度與項目鑑別度，可以利用項目測驗迴歸圖來表示 茲假設一個測驗有12個簡答題 表5-6表示這12題總分中，第5題與第11題此兩題正確作答的人數百分比，並將這些資料繪成圖5-4 表5-6　項目測驗迴歸之假設性資料 圖5-4　項目測驗迴歸曲線 曲線的斜率表示該題的鑑別度 左右位置表示該題的難易度 易 難 圖5-5　三個項目的特徵曲線 項目特徵曲線（簡稱ICC）的三個參數模式中，每個模式都是由實證資料衍生出來 題目辨別參數（ai）表示曲線的斜率，斜率值愈大，則曲線愈陡峭 圖5-5中： 題目1和2的斜率相同，其辨別值也相同 題目3的斜率較小，其曲線比較平坦 題目難度參數（bi）在橫軸上正確反應機率為 .50 項目特徵曲線愈趨近於右邊，表示這個項目愈難；愈靠近左邊，表示項目愈簡單 由ICC曲線的位置就可看出題目的難易度 題目2和題目3之（含b2、b3）相同，而題目1較簡單，它需要較少的能力就能有50%的正確反應機率 IRT模式在處理多重選擇項目時，常包括第三個參數，就是所謂猜測參數（Ci），它代表做正確反應時，猜測所占的比率 在多重選擇的項目中，即使受測者的能力很低，做正確反應的機率也高於零，這種現象可以由該圖中第三個項目的曲線得知 ( 較難, 斜率低-鑑別度低, 但還是有猜對可能性) 項目分析-IRT分析— 要檢視曲線的斜率(角度): 左下往右上 曲線位置的分配密度(呈常態分配最好) 刪題的標準p47,當ICC曲線是…(不符合以上兩個條件) 可不看 題目參數與能力兩者的估計方法，通常以連續接近程序來計算，使其一直重複到該值穩定為止 項目反應理論尚有幾個優點： 經由項目資訊方程式來處理測量的信度與誤差 這些函數可由每個題目計算，對於測驗題目的選擇提供良好的基礎 參 項目反應理論模式的優缺點 項目反應理論最主要的貢獻，就是測驗結果不受樣本特性的影響，這又稱為題目參數的不變異量 項目反應理論的基本概念，是項目參數在計算不同能力受測者團體樣本時保持不變 2.5.2 速度測驗P47 測速度的測驗,題目通常都是很容易的,所以無所謂鑑別力之分,通常不需要做難度與鑑別力分析 第六節 取樣及刪題比例 2.6.1 效度縮水P48 (閱讀課本) 項目分析的取樣要考慮 1.取樣數量,不要少於50 2.刪題不要多於原題數的1/3,否則都會造成效度縮水 影響效度縮水通常有三個原因 編制測驗三次取樣過程(SAMPLE都需不同)—進行交叉效度 2.6.2 交叉效度- 運用不同的取樣來驗證題目測驗效度的準確性—是進行項目分析及效度測驗的過程 項目分析要進行第一次取樣(判斷每一個題目是否有效,: 刪掉無效題,保留有效題) 之後,進行第二次取樣,進行測驗信效度分析 第三次取樣,建立常模 第七節 項目誤差- 項目誤差定義: 測驗的任一個題目 因為不同的族群而產生不同的鑑別度或難易度的情況 若有此情形,會考慮刪題 項目誤差是測驗誤差的來源,影響測驗效度 第七節 項目誤差 明顯的,通過第I題的B群人數遠多於A群人數 思考題目 試述測驗經項目分析後所得到較少題數的新測驗，為何反而比較有效。 討論項目難易度及項目鑑別度的關聯性。 討論題目平均難易度對測驗的重要性。 試述項目難易度和錄取率的關係。 試述次數分析在項目分析的用意。 試述教師自編測驗適用的項目分析方法。 試述t測驗在項目分析的用意。 思考題目(續) 試述Coefficient α在項目分析的用意。 試述項目分析的目的。 試比較Phi r、Point-Biserial r、Pearson r的差異。 試述IRT與其他項目分析方法的差異。 討論速度測驗的項目分析。 試述Cross Validation如何驗證及其重要性。 討論Differential Item Functioning的概念。 小樣本極端組鑑別度分析p25 項目分析以答對某一個題目的人數比率，與效標組的人數比率加以比較 當效標以連續量表來測量時，例如：學業成績、工作成績，或在測驗上的總分，從分數分布中選出高與低效標組，就是極端分數組 肆 小樣本的簡單分析 項目分析有時可以利用小樣本來實施 例如： 一個班60名學生接受考試，測驗結果進行題目分析可以採用以下簡便方法 先選出高、低分組學生各20名，其餘20名學生為中間組，然後計算這三組學生在各個題目上答對的人數百分比 假設以U代表高分組，M代表