一般化可能性理論とパフォーマンス評価 performance.pptVIP

一般化可能性理論 generalizability theory とパフォーマンス評価 performance assessment 日本学術振興会?東京工業大学 村山 航 murakou@orion.ocn.ne.jp Contents 一般化可能性理論とは パフォーマンス評価に対する一般化可能性理論研究の現状 Contents 一般化可能性理論とは パフォーマンス評価に対する一般化可能性理論研究の現状 古典的テスト理論 信頼性 reliability ＝ 尺度の一貫性?安定性 信頼性係数 全分散における真値の分散の占める割合 誤差分散が大きいと小さくなる 推定方法 再テスト法，平行テスト法，Cronbachのαなど 補足：信頼性と妥当性 妥当性：測定したいものを測定できているか 古典的な「信頼性」概念の限界 意味が多義的：「安定」「一貫」とは何か？ 時間的に安定しているのか：再テスト信頼性 （同じ概念を測定する）テスト?項目間で一貫しているのか：α係数 ポイント：「誤差」の意味によって信頼性の意味も変わってくる 一般化可能性理論 generalizability theory とは 古典的テスト理論より洗練された形で信頼性を評価する手法：以下の２つの段階がある Generalizability G study 分散分析 ANOVA の原理を用いて，異なるソースの誤差分散の成分を分離して推定する Decision D study G study で得られた分散成分をもとに，さまざまなデザインにおける信頼性を評価する 用語 相 facet 評定者，項目，時間といったテストの諸側面．一般化可能性理論では，この相ごとに誤差を分離していく． 測定の対象 object of measurement 多くの場合，人（もしくは学校）．ここの分散が真値の分散とみなされる． ユニバース（universe それぞれの相における母集団（のようなもの）． 一般化可能性理論で「母集団」 population という言葉は「測定の対象」にのみ使われる． 具体例 Brennan et al., 1996 より） California Assessment Program CAP の理科のアセスメント（一種のパフォーマンス評価） ５つの課題 t ３人の評価者 r がすべての課題を評価 得点はどれも１点－４点 評価の対象は当然受験者 p G study 変量効果の分散分析により分散成分 平均平方和MSではないので注意）を推定 ユニバース?母集団における個々の効果の分散 p x t x r デザインのとき，求める分散成分は交互作用を含め，p, t, r, pt, pr, tr, ptr + e の 7 つ． CAPの結果 G study より分かったこと 個々の得点は生徒間の個人差をある程度は捉えている ただし，課題によって生徒の順序が入れ替わってしまう ? 大問題（テスト結果が使われた課題に大きく依存してしまうから） 評定者間のばらつきは思ったほど大きくない（むしろ小さい） D study D study における信頼性の推定 複数の相からのサンプルにおける「平均値」の信頼性（一般化可能性）を求める 「評定者を４人に増やしたら？」といった仮想の実験デザインに対する信頼性の推定も可能 p x t x r デザインにおける推定 ２種類の信頼性係数 Dependability Coefficient Φ 以外すべてを誤差と考える Generalizability Coefficient ρ2 or Eρ2 Personとの交互作用のみを誤差と考える Φとρ2 の違い ポイント： や が大きいのは問題か？ Φとρ2 の違い ポイント： や が大きいのは問題か？ ２種類の信頼性係数：まとめ 受験者の相対順位に興味がある場合は の大きさをみる必要性 多くの場合はこちらが重要 相関に興味がある場合もこちら Cronbachのα係数は p x I デザインにおけるこの係数と等しい 受験者の絶対得点に興味がある場合（e.g., standard settingなど）は， の大きさをみる必要性 CAPの結果 仮想のデザインに対する信頼性の推定 評定者や課題を増やす（減らす）と信頼性はどうなるのか？ CAPの場合 Brennan 1996 より D study より分かったこと ３人の評定者，５つの課題である程度は信頼性が保たれている 課題を増やすことでより信頼性を高めることが可能． 評定者を増やしてもそれほど信頼性は高まらない（コストによっては，課題を増やし，評定者を