表1试题分析的结果.DOCVIP

建國科技大學英檢題庫試題之統計特徵 施靜君1、魏逢亨2 1建國科技大學應用外語系助理教授 2建國科技大學應用外語系副教授摘要 本研究旨在針對建國科技大學已完成之一千四百題英檢題庫進行抽樣50題試題，以瞭解各抽樣試題之統計特徵﹝試題難度、鑑別度及試卷的信度和效度﹞，進而作為改進其餘英檢題庫試題品質之模式。研究對象為95學年度第一學期日間部二技一年級297名接受例行性新生英文能力測驗的學生。在取得樣本學生新生英文能力測驗、95學年度上、下學英文成績後，即對資料進行描述統計、t考驗、單因子變異數分析(One-way ANOVA)及Scheffe事後考驗法、難度指標，常態化難度指標，鑑別度指標，二系列相關、折半信度、庫李(K-R)信度及效標關聯效度等統計方法分析資料。本研究結果顯示工學院學生英文成績顯著低於其他學院的學生；而男生的英文成績也顯著低於女生的英文成績。在難度指標方面，此50題試題的平均難度為0.；整體來說，難度為中等偏難。在鑑別度指標方面，兩份試題的平均鑑別度則為0.2，屬「尚可」等級。信度方面，兩份試卷的折半信度平均為0.4；庫李(K-R)信度為0.3。在預測學生一年級上下學期英文成績方面，效標關聯效度總平均為0.2。綜合難度與鑑別度分析結果，本研究50題試題中，共有題落入「建議刪除」的等級；而且兩份試卷信效度皆不夠理想。故建議使用此題庫之教師應審慎選題，並應對其它試題進行試題分析，以確保使用之考題達到測驗的目的。另外，建議往後擔任出題之教師應接受更多的增進命題技巧之訓練。 關鍵詞：英檢題庫、難度、鑑別度、信度、效度 1. 前言 為落實執行本校95年度提昇學生外語能力計畫，以輔導學生通過英語檢定與改善英語教與學，本校應用外語系教師已完成一千四百題英檢題庫的編撰，以作為提供英語正課、補救教學、英檢輔導等課堂運用，以及學生自學之資料與自我測驗之範本。雖參與出題教師教學經驗豐富，但為嚴格控管試題品質，確有必要進一步客觀分析已編撰完成題庫試題的特徵指標及其信效度，以作為修刪試題之依據。試題分析在整個測驗題庫的編制過程中，扮演著一個相當重要的角色，它不僅能夠提供客觀的試題特徵指標，供測驗使用者參考，以作為評試題良窳、驗證測驗信效度、和增進命題技巧。因此，為了使本校應用外語系教師所編撰之英檢題庫成為一份公正、客觀、且優良的教學評量工具，分析試題之特徵及信效度是必要的步驟。也唯有經過如此的測驗分析，教師在使用本題庫試題，以及學生自學之資料與自我測驗之範本的同時，才能對其產生信任感，並瞭解其使用價值。﹝試題難度、鑑別度及試卷的信度和效度﹞難度(difficulty)每道試題的難度指標是以高分組和低分組學生的答對人數百分比之平均數來表示。一般而言，難度指標愈大，即表示該試題愈容易，愈多學生答對該題。每個試題的難易程度難度指標分析兩種答對百分比法和范氏試題分析法。 答對百分比法(number correct ratio)計算全體受試者中，答對每道試題人數的百分比。這個百分比值即被用來作為「難度指標(P值)」(item difficulty index)的代表。假設某試題共有100名學生回答，其中有50人答對，則該試題的難度指標即為50%。這種答對百分比法雖然簡單，但卻無法顯示試題的區別功能。即具有相同的答對百分比兩試題，是否真的具有相同的難易度？其中是高分組的同學答對的多呢？或是低分組答對的多呢？ 有鑑於此，另一種試題難度(P值)的分析方式，即納入高分組及低分組兩個極端的族群作為考量來計算難度指標。其計算公式為：Pi = (PiH + PiL)/2 i = 1, 2, 3, …,n (1) Pi是第i題試題的難度指標，PiH是高分組答對第i試題的分數，PiL是低分組答對第i試題的分數。算法是以高分組及低分組的答對人數百分比的平均值來表示。假設某試題高分組的答對率為80%，低分組為40%，則此題的難度指標(P值)即為80%和40%的平均值，60%。 一般來說，難度指標P值愈大，即表示該試題愈容易; 反之，P值愈小則愈困難。而難度指標愈接近0.5左右時，表示試題最為難易適中。 上列的答對百分比法所表示的難度指標，具有順序量尺(ordinal scale)的特性，由於單位不相等之緣故，只能用來表示試題難易的相對位置，而無法比較出各難度差異大小的數學涵義。為了克服這項困難，試題難又可採用具有相等單位的等距(interval scale)指標，即范氏試題分析法。常距等量尺為美國教育測驗機構(Educational Testing Service，簡稱ETS)所用來表示的難度指標的方法，其特質為常態分配，在本文中以「常態化難度指標(△)」表示。常態化難度指標(△)即利用以下轉換公式獲得：△ = 13 + 4Z