效度：安全概念.ppt

Chapter Five 效度：基本概念 測驗效度的重點在於測驗究竟在測量什麼以及測量結果有多好。 它告訴我們：從測驗分數可以推測什麼東西。 基本上，所有建立測驗效度的程序都涉及了測驗表現與其他相關行為特徵之獨立觀察事實之間的關係。 測驗效度概念的演進 測驗最早的用途之ㄧ，是評量個人在特定內容領域中的學習效果。例如學校的期末考等，這類測驗ㄧ般稱為成就測驗，通常在檢驗其效度時是將測驗內容與原先所要評量之內容領域加以比較。 測驗發展的下一個階段重點轉為預測。不同的人在目前或未來的特定情境中會有何反應？測驗所欲測量的目標行為之表現稱為效標(criterion)。預測用途的測驗效度通常是測驗分數與直接測量該效標的獨立指標之間的相關係數。因此，對於機械性向測驗而言，其效標可能是未來擔任機械技師的工作表現。 測驗效度概念的演進 測驗發展史目前的階段反映出兩種主要趨勢： 1.理論取向逐漸受到重視 2.心理學理論密切地結合由實徵和實驗方法所進行的假設檢驗。 這些趨勢的結果之ㄧ，就是心理學家逐漸承認建構(construct)對於描述和了解人類行為的價值。建構是廣泛的類別，源自可以直接觀察之行為變項的共同特徵。它們存在於理論中，本身無法直接被觀察。 測驗效度概念的演進 建構效度被認定為涵蓋所有的基礎效度概念，因為它指明了測驗所測量的內容。內容和預測效度只是界定和了解建構的諸多訊息來源之二。 前述三個測驗發展階段所重視的效度分別稱為：內容效度、預測效度(效標關聯效度)、建構效度 描述內容的程序 性質 就本質上來看，描述內容效度程序就是：有系統地檢驗測驗內容，以決定它是否涵蓋了所欲測量之行為領域的代表性樣本。 我們必須有系統地分析所欲測試的行為領域，以便確保所有主要層面都被涵蓋在測驗題目中。 描述內容的程序 特殊程序 訂定測驗規格(test specifications)。測驗的說明書內應該清楚地陳述測驗所涵蓋的內容領域或主題、所測試的教學目標或過程及相對重要性，以及每ㄧ主題的題數。此外，參予測驗編製的專家之人數及專業資格等訊息亦應當說明清楚。 描述內容的程序 其它實徵程序(量化分析)可以用來補充教育成就的內容效度包括 1.檢驗總分以及個別題目的表現隨著年級而產生進步的情形。 2.答題的錯誤類型分析或觀察受測者的工作方法。 3.檢驗速度之影響幅度可以計算無法完成測驗的人數 4.將測驗與無關因素求相關，以獲得無關因素的影響程度。例如為了釐清閱讀指導與能力所造成的無關影響，我們可以將測驗分數與閱讀理解的測驗分數求相關 描述內容的程序 應用 上述實徵檢驗法可以回答成就測驗效度兩個基本問題 1.該測驗是否涵蓋特定技能或知識的代表性樣本？ 2.測驗表現是否合理地排除無關變項的影響？ 由於領域參照測驗的解釋必須根據其內容意義來解釋，因此內容效度適用於這類測驗。 描述內容的程序 內容效度也可以應用在員工甄選和分類的職業測驗中。如果該測驗是實際的工作樣本，或是從事該工作時所需的技能和知識，就適合使用內容效度。在這種情況下，我們必須進行徹底的工作分析(job analysis)，以便證明工作中的活動與測驗的相似性。 但是性向測驗和性格測驗並不適合使用內容效度。 性格測驗和性向測驗不同於成就測驗，因為前者並不是以特定教學課程為基礎來進行測驗內容的抽樣。因此，對性格或性向測驗而言，人們在回答相同測驗題目時，所經歷的工作方法或心理歷程有更大的差異，相同測驗可能在不同的人身上測量到相異的功能。在這種情況下，我們根本無法由測驗內容去決定它所測量的心理功能。 描述內容的程序 表面效度 表面效度表示：對於受測者、使用測驗的管理人員，以及其他未曾接受訓練的觀察者而言，測驗是否「看起來有效」。 表面效度並不能取代客觀方法所決定的效度。但可以增進受測者的在施測時的配合。 效標預測程序 同時效度與預測效度 效標預測程序可以指出：測驗能夠預測個人在特定活動之表現的有效性。根據取得效標和測驗分數的時間關係，將之區分為同時效度和預測效度。 同時效度在某種層次上的涵義是現有分類的診斷，而非未來結果的預測。 由於同時效度的效標總是在測驗當時就已經獲得，在這種情況下，測驗的功能究竟是什麼？基本上，這樣的測驗提供了比效標資料更簡單、迅速或者便利的替代品。 效標預測程序 效標污染(criterion contamination) 避免效標受到測驗分數的影響，例如，如果大學教師或是工廠督導知道某一個人的性向測驗分數非常差，這項訊息可能就會影響他們給予這位學生或員工的成績或評分。效標污染可能會異常地提高測驗分數與效標的相關，因此必須避免。 效標預測程序 效度指標 建立測驗效度所使用的效標就像它的用途ㄧ樣多。 智力測驗最常用的效標是學業成就的指標，因此這類測驗通常被視為測量學業性向的工具。 各種