组题与试题位置对试题特性之影响-国家教育研究院.PDF

組題與試題位置對試題特性之影響 林宜臻 2 組題與試題位置對試題特性之影響 組題與試題位置對試題特性之影響 林宜臻 國家教育研究院助理研究員 摘要 本研究旨在探討組題與試題位置對試題特性之影響 ，提供日後組題者之參考 。 本研究採用古典測驗理論與試題反應理論三參數模式 ，以BILOG-MG 、TEST2 等針 對試題難度、鑑別度與誘答力等進行共同試題特性分析及比較 。由於TASA 2006 之 題本等化設計採取PBIB 設計 ，而TASA 2007 則採取NEAT 設計 ；又TASA 2007 為避 免試題受順序的影響 ，各題本的定錨試題的題數與施測順序皆相同，並將定錨區塊 置前 ，非定錨區塊置後 ，此相較於採取PBIB 設計的TASA 2006 ，其定錨題未必將全 數置前 ，讓研究者得以藉此分析定錨題是否因試題擺放位置影響試題參數 。 本研究發現 ：（1 ）試題置前的定錨試題的八成以上 ，其鑑別度值與CTT 通過 率高於置後的定錨試題 ；（2 ）近七成置後定錨試題的IRT 難度值高於置前的定錨試 題 ；（3 ）相同定錨題前的試題平均難度值為0 .12 的相同試題其難度值為0 .96 ，相同 定錨題前的試題平均難度值為0 .48 的相同試題其難度值為1.72 ，倘若定錨題前的試題 平均難度值差距大時，即便是相同的題目，也會造成難度值相差高達0 .76 的現象； （4 ）若相同題的前一區塊難度高，又位於容易作答區塊的最後 ，將造成IRT 鑑別度 值僅0 .59 ，而非此條件的相同題其鑑別度值達1.24 ，兩者IRT 鑑別度相差高達0 .65 的 現象。 為避免IRT 難度值 ，非完全來自於內容 ，而是受試題擺放位置的影響 ，造成通 過率、鑑別度、難度 ，以及猜測度等參數的偏誤現象，本研究建議組題之際宜 （1 ） 區塊內試題由易至難排序 ：避免影響IRT 難度值 ；（2 ）區塊內與區塊間的難度值由 易至難排序 ：避免因前面區塊過難 ，簡單試題置後 ，無時間作答 ，猜測代之 ，影響 IRT 鑑別度值及CTT 通過率；（3 ）正確答案位置的序號分配應大致相等：避免某一 特定選項序號過於集中，影響猜測度 ；（4 ）使用0- 1 線性規劃方法組題 ：力求隨機 選題 ，組題客觀 ；（5 ）分析預試與正式施測共同試題特質間之相關：以為瞭解組題 參考用之預試試題特質資料之可信度。 關鍵字：試題參數 、試題位置、組題 29 永續教育發展-創新與實踐論文集-測驗及評量論文專輯 A Study on the Item Position How to Influences the Item Parameter Estimation Yi-Jen Lin Assistant Research Fellow, National Academy for Educational Research jen@mail . .tw Abstract This study aimed to explore the item position how to influence the item characteristic based on classical test theory (CTT) and item response theory (IRT) . This study utilizes data from the 6th grade Taiwan Assessment of Student Achievement (TASA) 2006 and TASA2007 mathematics Assessment . Jus