连续机比检定模式在国民小学教学评量上之应用.docVIP

連續機率比檢定模式在國民小學教學評量上之應用(本文發表於2003國際資訊教育研討會) 論文摘要 本研究主要是結合「線上測驗技術」、「連續機率比檢定模式 (Sequential Probability Ratio Test，簡稱SPRT) 」及「傳統電腦化測驗(conditional computerize test，簡稱CCT)」，以建構一個線上精熟判定測驗系統，並以此系統實際應用於國民小學班級教學評量的實務工作。 研究結果顯示： 一、SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(Pa)來看，達0.86。若排除機遇因素，以κ係數來考驗，κ值為0.72，達到.01顯著水準。由此可知兩模式對精熟判定具有高度的一致性。 二、就兩模式的「答題數」來比較，整體而言，SPRT模式在答題數的效率上，比CCT模式高出約34%。 三、再從兩模式的使用時間來比較，整體而言，SPRT模式在省時的效率上，比CCT模式節省約25%。 四、SPRT的施測程序裡，伺服器所耗用的時間，僅占整個測驗時間的0.87%，施測過程十分流暢。 因此，SPRT模式一個施測效率高、測驗結果可信的系統，很適合運用於國民小學班級實務的教學評量中。 關鍵字：線上測驗、連續機率比檢定(SPRT)、電腦化測驗(CCT)、教學評量。 前言 一、研究背景及動機 近年來，由於電腦科技的進步，以及適性化測驗理論的發展，使得電腦化適性測驗的理念得以落實到現行的教育環境。再加上民國八十八年，教育部推動資訊教育擴大內需方案，全面普及了國民小學的電腦教學設備，各學校的資訊設備已能符合一般需求。 然而在目前而言，電腦化的施測模式，大多數屬於「傳統電腦化測驗(conditional computerize test，簡稱CCT)」，也就是紙筆測驗的電腦化。測驗介面雖然換成了電腦，但測驗的作答及計分方式仍不脫傳統紙筆測驗的範疇，頂多增加了多媒體的呈現效果。 此外，某些以研究為目的，發展出來的電腦化適性測驗系統，則大多採用現代測驗的理論中的「試題反應理論(Item Response Theory，簡稱IRT)」，做為測驗模式的設計。不過以IRT為基礎的適性測驗，有其理論假定上的限制。例如，參數模式運算的繁複及大量的樣本需求等。這樣的限制，在國民小學實際的班級教學評量上，有其運用上的困難。 另外還有一種「連續機率比檢定 (Sequential Probability Ratio Test，簡稱SPRT)」的測驗模式，SPRT模式只適於精熟判定的測驗，測驗結果僅區分「精熟」與「未精熟」兩個結果。其理論淺顯易懂，使用上限制較少，且不需繁複的計算過程，適合用在一般的班級教學評量上。且以班級教學情境而言，教師能了解學生是否達到預定的學習成效，比估算學生之間的成績高低來得重要。 職是之故，本研究準備利用「連續機率比檢定模式」，來建置一個可以在校園網路線上施測的測驗環境，並與「傳統電腦化測驗模式」比較，分析兩者在精熟判定上之一致性及施測效率。以期能建置一個節省時間與人力，且具測驗效率測驗環境。 二、研究目的 本研究將建置可以在網際網路上施測的「精熟判定測驗系統」，以期用省時、便利又兼顧個別化的測驗方式，達到診斷學生學習成效及評定學生學習成就的目的。並且從中探究，SPRT模式與CCT模式在精熟判定上之一致性及SPRT模式之使用效率為何？ 文獻探討 一、連續機率比檢定模式 連續機率比檢定(Sequential Probability Ratio Test；簡稱SPRT)，是於1947年由Wald所發展出來的一種連續性分析的決策模式。早期是用於第二次世界大戰時，美國軍備製造之品質管制上。1969年時，Ferguson首次將其應用於教育測驗的領域，用來判定學生在電腦化精熟測驗(mastery testing)上，精熟或未精熟(mastery or non-mastery)的決策模式。 (一)SPRT模式原理 SPRT模式的運作原理，是基於對受試者答題能力「可能性(likelihood)」的一種估計，且這個估計值，要拿來與兩個假設比較。這兩個假設，一個是「精熟者的最低能力值」，另一則是「未精熟者的最高能力值」。如果這兩個能力值的可能性估計，有其中一個的可能性機率很明顯的大於另一個，則受試者的能力將被判定。若能力估計值落於兩者之間，則能力估計將繼續進行下去。 整個模式其假設及決策過程如下(莊智陵，民89)： SPRT模式的兩大假設 其中 Hm:受試者精熟的假設； Hnm:受試者未精熟的假設； P：受試者答對題目的機率； Pm：精熟標準； Pnm：未精熟標準。 當Hm假設成立時，即表示達到精熟的標準；反之，Hnm假設成立時，表示未達到精熟的標準。以上任何一種假設成立時，測驗隨即終止。 而實際上，SPRT