概推度理論之應用.docVIP

PAGE 7 測驗理論與技術研究專題報告 指導老師：歐滄和教授 學生：徐貞淑 概推度理論之應用 從古典測驗理論到概推度理論再到試題反應理論間的測驗歷史雖不斷的演進，但其主要仍為評估與改善測驗工具信度效的方法更迭，因此本文就信度的基本涵義與概推度估簡介，同時探討概推度理論在現今替代性評量的適用性。 信度的涵義 信度(reliability)指的是測量一個固定不變的特質的，測量的的結果具有一致性(consistency)和穩定性(stability)（周文欽等人，民84），信度的可從測量一致性及測量誤差變異兩種觀點來探討。從測量一致性的觀點來看，信度是指相同的受試者在不同的場合，採用內容相當的不同測驗題目，或是在不同情境下，重複接受測驗，所得測驗分數的一致性(危止芬譯， 民88/1996)。從測量誤差變異的觀點來看，信度是指測驗分數的個別差異可歸因為測量之特徵的真實差異與及隨機誤差的程度，即誤差變異在測驗分數總變中，所佔的比例(危止芬譯，民88/1996)，若誤差變異太大，即信度偏低，誤差變異小時則信度高(張麗麗，民91；周文欽等人，民84)。 在測驗理論中，估計信度的理論大致可分為古典測驗理論、概推度理論（Generalizability theory）及項目反應理論(Item Response Theory, 簡稱IRT)，在古典測驗理論與概推度理論中其估計方法又可概分為相關係數與變異數估計兩種。其中以相關係數估計信度的方法，包括：折半信度(split-half reliability) ，藉由對同一群受試者，施予同一份測驗，估計受試者在兩半測驗分數上的一致程度，估計不同內容所造成的誤差；重測信度(test-retest reliability) ，藉由對同一群受試者，施予同一份測驗，估計不同時間樣本間的重測一致性，即估計時間所造成的誤差；複本法(alternate form reliability)，或稱等值係數（coefficient of equivalence），藉由對同一群受試者，施予兩份複本測驗(係指兩份試題在內容、格式、題數、難度、指導說明、時間的限制等方面都相當類似或相等)估計不同題本間的複本一致性，而如果兩次測驗的時間間隔較長，稱為複本重測法，所得係數稱為穩定等值係數(coefficient of stability and equivalence) ;評分者信度(scorer reliability)係由兩位或兩位以上的評分者對同一群受試者的測驗給予評分，估計不同評分者的一致性，即估計不同評分者所造成的誤差，此外，估計評分者一致性的方法除使用相關法外，也有求給分結果一致的百分比(一致性係數；Kappa係數)，或是使用概推度理論的估計方式。變異數估計信度的的方法，包括常用的Cronbach α係數(coefficient alpha)(適用於二元及多元計分的試題)及庫李(Kuder-Richardson)信度係數(適用於對錯二元方式計分的試題)以及Hoyt的變異數估什計法(危止芬譯，民88/1996；林敬修，民92；張麗麗，民91；周文欽等人，民84)。 由估計信度的方式可發現古典測驗理論在估計信度時，研究者每次只能根據一種誤差(評分者、試題內容、時間、情境…等)來源進行分數一致性的估計，無法同時估計不同的誤差來源(詹元智，民91)。因此將會對探測測驗分數的複雜性與真實性有所限制，故Cronbach, Gleser, Nanda 及Rajaratnam在1972年將Hoyt的變異數估計法擴展成概推度理論 (引自周文欽等人，民84)，以下即為概推度理論的介紹。 概推度理論（Generalizability theory） 概推度理論(又名概度理論、類推性理論、推論力理論、概化理論、概性理論…等)，係為Cronbach, Gleser, Nanda 及Rajaratnam在1972利用Hoyt的變異數分析理論加以擴充，並將古典測驗理論中的各種信度估計方式都納入理論下的特例。概推度理論係為一種測量可靠度(dependability)之統計理論。所謂的「可靠度」係指依據受試者在某一次測驗上或是在其他測量上的得分能精確地推論回其欲推論的領域中所有可能樣本(universe of admissible observation)之平均分數。但前提是受試者在一個以上的誤差來源下(譬如不同試題、情境、評分者等)，其所得分數的差異情形均是由於隨機誤差所造成，而非系統性誤差所導致。測驗分數的不一致常由於不同的誤差所導致，所以很難只根據一個隨機樣本上的得分去推估領域中所有可能樣本的平均分數，亦即其測量的可靠性是有程度上之區別。因此無法確保在某一情境下，受測者在某測驗上的得分就能代表該受測者在所有可能情境下，在該測驗的得分都是相同(