网路英文学习与检定系统.pptVIP

網路英文學習與檢定系統:結合適性化測驗,多媒體試題, 及網路化測驗機制 陳炳富 技術總監 全民網路英語能力檢定多媒體教學暨檢測中心 中華民國多媒體英語文教學學會 適性化測驗(IRT) 傳統做法： 以圖文型式來呈現試題 利用紙筆測驗的方式來施測 網路測驗的做法： 可以用多媒體型式來呈現試題 利用電腦及網路系統來施測 ?試題之適性值 (難易度、鑑別度、猜測度) 是否一致？ 適性值的差異研究 假設： 圖文型式試題和多媒體型式試題所要表達的觀念及原理都一樣，只是題目的呈現或表達方式不一樣。 ?不同試題的呈現方式之適性值 ( 難易度、鑑別度、猜測度 ) 是否一樣呢？ 實驗流程 施測對象與環境(1) 限於研究的人力物力與時間等因素，本研究的取樣對象僅為台北及新竹兩地學子，共計1000名。 以班級為單位分為兩大組，分組方式為隨機指派，若某國小該年段班級數為奇數，則有一班不參與研究。 多媒體試題施測環境 Server Windows 2000 Server SP4 Pentium 4 1.8G CPU、 512MB RAM 30GB HDD Client Windows 98 SE2 AMD K6-300 CPU、64MB RAM 6GB HDD 施測對象與環境(2) 試題特徵曲線說明 實驗結果試題的適性值例子 實驗結果(1)試題特徵曲線—ICC 實驗結果試題的適性值例子 實驗結果(1)試題特徵曲線—ICC 實驗結果(2)全體學生的成績T考驗 實驗結果(3)高分組學生的成績T考驗 實驗結果(4)低分組學生的成績T考驗 實驗結果總結 (5) 就整體平均成績而言，互動多媒體試題的成績優於靜態圖文試題。 針對高分組的學生而言，互動多媒體試題的成績仍優於靜態圖文試題，但兩組的差距較小。 針對低分組的學生而言，互動多媒體試題的成績優於靜態圖文試題，但兩組的差距較大。 研究結果顯示，互動多媒體試題有效提升低分組學生的成績表現。 實驗結果推理 圖文型式的測驗方式 可能會把一些觀念已懂的學生視為不懂(實際上這些學生只是對圖文式的語意較不易了解) 只有圖文式測驗方式的公平性可能會受到考驗 =使用多媒體試題可以使測驗更公平合理 網路英檢VS.紙筆英檢(1) 網路英檢 使用適性測驗 題目呈現方式使用多媒體試題呈現 在電腦及網路系統施測並使用電腦閱卷 (說及寫的測驗以人工閱卷) 紙筆英檢 (目前) 使用文字(或圖形)方式來呈現試題 以紙筆測驗來施測(以人工閱卷為主) 網路英檢系統 Conclusions * * 數位學習成功實務案例分享 選取單元教材主題 編製試題設計單 編製試題評估單 開發圖文式試題 開發多媒體試題 施測(1000人) 分析測驗的結果 放入適性測驗題庫 複合式評量架構 靜態圖文試題組 互動多媒體試題組 其中O1、O2、O3、O4 、 O5、O6表示學生起點能力，係以學生數學科月考成績為準，O7、O8、O9、O10 、O11、O12表示本研究測驗成績。 O6 O12 O3 O9 低分組(500*27%) O5O11 O2 O8 中分組(500*46%) O4 O10 O1 O7 高分組(500*27%) 靜態圖文測驗 互動多媒體測驗 研究處理 -2.19 -1.75 -1.31 -0.87 -0.44 0.00 0.44 0.88 1.32 1.75 題號2 0.00 0.566 -1.992 434 34 14 18 靜態 0.00 0.352 -4.066 460 24 6 10 多媒體 猜測度 鑑別度 難度 4* 3 2 1 選項 題號3 0.00 0.940 -0.123 276 55 95 74 靜態 0.00 0.834 -0.530 322 33 95 50 多媒體 猜測度 鑑別度 難度 4* 3 2 1 選項 . . . -2.19 -1.75 -1.31 -0.87 -0.44 0.00 0.44 0.88 1.32 1.75 題號18 0.00 0.788 0.408 66 187 32 215 靜態 0.00 0.799 0.042 40 217 16 227 多媒體互動 猜測度 鑑別度 難度 4 3 2 1* 選項 題號22 0.00 0.812 0.001 81 121 50 248 靜態 0.00 0.803 -0.381 54 114 40 292 多媒體互動 猜測度 鑑別度 難度 4 3 2 1* 選項 -2.19 -1.75 -1.31 -0.87 -0.44 0.00 0.44 0.88 1.32 1.75 A組：互動多媒體試題組， B組：靜態圖文試題組 t=4.827，P.05，達到顯著水準，表示兩組學生平均成績有明顯的不同。 其中A組的平均成績為15.89 ，B組的