英语字汇能力线上适性测验系统之建置.pptVIP

中華大學重點教學與研究計畫成果發表CHU-94-TR-003英語字彙能力線上適性測驗系統之建置 應用數學學系 羅 琪 老師 資訊管理學系 羅家駿 老師 外國語文學系 吳文舜 老師 計畫之背景 電腦化測驗(computerized tests)係測驗隨著電腦科技發展的產物。測驗與電腦的關係最早表現於電腦計分及施測方式，仍至晚近發展之電腦化適性測驗(computerized adaptive test; CAT)，線上等化(on-line equating)等，這些發展都是不可抗拒也是不可避免的趨勢。 計畫之背景 中華大學自民國90年新生入學時起實施電腦英文分級測驗至今已四年半，此舉可謂是國內大學之先驅。英語教學的專家都知道能力分級、因材施教的重要性。但是在新生入學榜單拿到後，距離開學僅有短短的兩週左右的時間，而在新生報到後至開學，更只有兩天左右的時間。如何能在這麼短的時間內舉行分級測驗，並將1500位左右的大一新生之英文能力分班作業完成，轉檔至學生選課資料庫，大概只能靠網路化英語能力分級測驗才有可能。 計畫之背景 目前本校實施的網路化英語能力分級測驗有下列可改進之處: 目前和本校合作的資訊廠商並沒有提供其資料庫英文考題的數量、可靠度(reliability)和效度(validity)的參考數據，也沒有充分利用網路測驗的優勢–電腦化適性測驗。 資訊廠商幫本校實施的網路化英語能力分級測驗，每位學生每次英文分級測驗的費用是NT$180，若以一個年級1,500位學生計，學校一年約需花費八十萬台幣做英文分級測驗，但是外語系對其英文試題並沒有主控權。 計畫之背景 電腦化適性測驗能夠使用較少的試題，就能精確地估算受試者的能力水準，其結合項目反應理論可以實施個別化適性測驗，並能精確分析各試題的特性，測驗的評分更為客觀及公正，容易蒐集學生作答訊息以進行學習診斷。 電腦化適性測驗可以應用在不同功能的測驗，例如「分級測驗」(placement tests)、「成就測驗」(achievement tests)、「能力測驗」(proficiency tests)和「診斷測驗」(diagnostic tests)等，如果在電腦程式設計時搭配良好的題目編碼(item codes)，除了能做分級測驗外，也可以概略知道學生在那一方面的英語能力較弱，可以提供日後英文老師教學之改進。 計畫之目的 建置線上適性測驗系統，以提供學生線上練習及受測的環境。 建置線上適性測驗系統，以提供教師線上實施測驗的環境。 透過線上適性測驗，節省施測的時間，並精確估計出受試者的能力值。 透過試題反應理論(IRT)分析試題的特性，以供教師出題的參考。 目前先以英語字彙分級測驗為範圍，設計出線上適性測驗系統的雛型。 未來再推廣至用法、聽力及閱讀測驗。 最終將取代目前花錢委託外面廠商施測的方式，對學校及學生有很大的貢獻。 基本概念 受試者在某測驗試題上的表現情形，可由一組因素來加以預測或解釋，這組因素稱為潛在特質(latent traits)或能力(abilities)，用θ代表，θ的測量值是放在中心點為0、單位為1的尺度上，θ的可能值介於到之間，但實務上大多介於-3到3之間。 基本概念 受試者的表現和這組潛在特質之間的關係，可透過一條連續嚴格遞增(monotonically increasing)的函數來加以詮釋，此函數稱為項目特徵函數(item characteristic function; ICF)，而把不同能力的學生在某項目(item)的得分期望連結成線，此曲線稱為項目特徵曲線(item characteristic cure; ICC)。 基本概念 IRT的目的在於提供能力的估計值且具有群體不變性(group invariance)。它有下面幾項特色： (1)在受試母群中，項目參數估計值是不受取樣波動的影響，不同的取樣結果，只呈現ICC的局部區間，連結了不同的取樣結果，則可呈現完整的ICC圖。 (2)在試題的選擇中，受試者能力估計值不受取樣波動的影響。 (3)能力可以確切估計求出。 項目特徵曲線模式(item characteristic cure model) 項目特徵曲線(item characteristic cure; ICC) 題庫建立與參數估計 從英文字彙題目中，挑選不同難度、不同詞性、不同範疇的題目200 題，再找不同科系、不同年級約4千位學生做英語字彙紙筆測驗，將所有答題的有效樣本2134輸入電腦，做為IRT模式項目參數估計所用。 大型紙筆測驗共有M=2134人參加，題目共有N=200 題，第i 題的項目參數估計方法如下： 參數估計 用 個