提高研究效度.pptVIP

如何提高研究效度 花蓮師院科教所 劉聖忠老師 如何提高研究效度 何謂「信度」「效度」？ 何謂「工具效度」？ 何謂「研究效度」？ 研究效度裡的 內在效度 和 外在效度 影響研究效度的一些因素 信度 v.s. 效度 之1 何謂「信度」？ 基本上，信度的定義不外乎「穩定度(stability)」、 「一致性(consistency)」 何謂「效度」？ 說白話一點，效度的定義就是「測到你想測的東西的程度」 信度 v.s. 效度 之2 信度高通常表示在研究的過程中所量得的data重複出現的機率高 效度高通常表示結果(=data+explanation)重複出現的機率高 所以… 信度高的不一定效度高 效度高的一定信度高 信度 v.s. 效度 之3 信度高的不一定效度高 效度高的一定信度高 在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此… 有信度不一定有效度 有效度一定有信度 以效度為例 前面所定義的信、效度通常指的是一般的定義。可是在研究的過程中，我們常常會碰到的效度問題卻有二個，一個稱之為「工具效度」，另外一個稱之為「研究效度」 因為它們所處理、所可能面對的問題是不同的。因此，它們就應該有所區隔 工具效度 之1 在談這個問題之前，我們必須先釐清什麼是「工具」？ 工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(智力、學習成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire) 通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人 工具效度 之2 「工具效度」= 「工具」+「效度」 一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度 例如要看一個「國小五年級自然科學習成就問卷」的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學習成就 工具效度高代表其測量結果和事實接近 研究效度 之1 前面提過所謂的工具效度是「一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度」 那所謂的研究效度就是「一個研究中的研究結果可以被複製的程度」 研究效度高代表研究的結果被複製的程度高，也就是說研究結果的可信度高 研究效度 之2 一個有研究效度的研究通常所使用的工具應該也是有效度的 上面這句話在量化的研究中一定是對的，但在質性的研究裡應該成立卻不必然就是如此。(why?) 研究效度 之3 量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具 質的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應該只是研究效度成立的一個重要考量，不必然是全部 每一個同學請舉例或用你自己的話語解釋一遍給同組的同學聽 研究效度 之4 研究結果的可信度高具有二層的含意… 第一層，可能只代表研究者自己或別人在完全相同的(exactly the same)研究過程中複製研究結果的程度 第二層，才代表別的研究者在類推的族群中(generalized population) 複製研究結果的程度 內部效度 v.s. 外部效度 之1 在完全相同的研究過程中複製研究結果的程度 指的是研究的「內部效度(internal validity)」 在類推的族群中複製研究結果的程度 指的是研究的「外部效度(external validity)」 討論問題 請試著用自己的話語討論一下上面這二句話的含意 請以「Effects of Integrated Video…」為例 內部效度 v.s. 外部效度 之2 在這裡所謂的內部和外部效度都是在談研究效度，只是我們談的更細一點而已 或者應該這麼說… 如果我們想更進一步的了解研究效度，我們就不能不談內部效度和外部效度 內部效度 在教育的研究情境中，那來「完全相同的研究過程」！ 「完全相同」有那些要項是應該考量的 樣本相同，或除研究特質之外的特質均相同 相同的或相等的信效度的測量工具 研究情境相同或雷同 因果關係的成立 外部效度 外部效度求的不過就是本次研究結果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力 「推論力」有那些要項是應該考量的 樣本的代表性 潛藏的變因 高預測效度的測量工具 內部效度 v.s. 外部效度 之3 因此… 如果一個研究要有高的外部效度的話，一定先要有高的內部效度 有內部效度的研究不一定有外部效度 有外部效度的研究一定有內部效度 說穿了，沒有人會去做一個沒有推論力的研究！ 內部效度 v.s. 外部效度 之4 討論問題 在討論如何提高研究效度的議題上，有沒有必要區隔內部效度和外部效度？ 有…，為什麼？ 沒有… …，為什麼？ 如何提高研究效度 前面的上課中討論過談如何提高研究效度就等同於討論如何降低研究誤差 如何降低研究誤差 在此應該考量的是「如何降低，不是消除研究誤差」 有幾個重要的