自由英作文評価の改善 評定結果の診断活用.pptVIP

自由英作文評価の改善：評定結果の診断的活用 山西 博之 広島大学大学院 本提案の目的 ある高等学校の生徒が書いた自由英作文を，その高等学校の英語科教員が評価した結果を用いて，自由英作文評価の「診断的」な改善方法を示すこと具体的には，以下の2つの方法を扱う ①総合的評価尺度と分析的評価尺度の評定結果を比較する，Microsoft Excelでも検討可能な方法 ②分析的評価尺度の評定結果を，評価に関わる要因ごとに検討する一般化可能性理論を用いた方法 評価における問題点 評価尺度の問題①総合的評価の問題（e.g., Hamp-Lyons, 1995）②分析的評価の問題（e.g., Bacha, 2001） 　→実用性と妥当性の兼ね合いを考慮に入れて，いかに分析的な評価を改善するか？ 評定者の問題①評価の一貫性の問題（e.g., 工藤?根岸, 2002）②評価経験の問題（e.g., 山西, 2004, 印刷中） 　→実用性と信頼性の兼ね合いを考慮に入れて，いかに分析的な評価を改善するか？ 改善点を見いだす方法 ①評価の妥当性と実用性の検討?幅広い要因を汲み取ることができる総合的評価 と比較することで，分析的評価の項目内容を検討 　→本提案では，表計算ソフトや統計ソフトを用いた相関分析を用いた方法を提示する（方法①） ②評価の信頼性と実用性の検討?項目数（評定者数）を増減，または項目内容を変更した場合の信頼性の検討 　→本提案では，一般化可能性理論を用いた検討の方法を提示する（方法②） 本提案で用いるデータ 山西（2004）のデータの一部を利用?対象‥1校の高校生20名が書いた自由英作文?評定者‥同校の英語科教員8名?評価尺度‥総合的評価と分析的評価（Jacobs 　et al.（1981）のESL Composition Profile（資料図1）　 のレンジを変えたもの‥Content, Organization, Vocabulary, Language use, Mechanicsの5項目）?評定値のレンジ‥1~10点（資料図2） 　（poor = 1-2点，fair = 3-5点，good = 6-8点，　　very good = 9-10点）  本提案で用いるデータ ?課題‥大学入試で実施された自由英作文課題（Describe something strange or frightening you have witnessed or experienced in your life.） ?評価方法‥ ①評価尺度ごとに，自由英作文と評価記入欄を　　設けた評価シートを作成（資料図2） ②評価尺度セットごとに，すべての評定者において，　　生徒の作文はランダムオーダー　　（順序効果の影響を避けるため） ③総合的評価セット→分析的評価セットの順に評価　　（分析的な評価項目の影響を総合的評価に　 　与えないため） 方法①（手順） ①各評価項目?生徒ごとに，評定者の平均値を算出することでデータを「圧縮」（資料図3） ②Microsoft Excelを用いて，相関係数を算出（資料図4）‥「分析ツール」→「相関」 ③分析的評価尺度内の相関係数の解釈（資料図5） ④評価尺度間（総合的評価尺度と分析的評価尺度）の相関係数（総合的評価との併存的妥当性）の解釈（資料図5下段） 方法①（相関係数の解釈例） 方法①（まとめ） 方法①のように評価尺度の相関係数を検討することで，ローデータや平均値の検討以上に評価の改善のためのポイントが見えてくる その際，特に分析的評価尺度の検討を行う場合には，外的基準として総合的評価の評価結果を組み合わせることで，得られる情報はより多くなる 方法①は簡便な方法であるが，技術的な問題点は，①データを圧縮する必要があること，②さまざま要因を一度に検討することが不可能であること，である 方法②（一般化可能性理論について） 一般化可能性理論（Generalizability Theory）は，評価の改善に適しており，以下の2つの段階からなる ①評価に関わる要因（変動要因：本提案では，評価項目，評定者，生徒の主効果とそれらの交互作用）が評定値に与える影響の大きさ（分散成分）を推定する段階（Generalizability Study‥G-Study） ②分散成分の推定値を用いて，信頼性の指標である一般化可能性係数を算出したり，評価項目数や評定者数を増減させた場合の一般化可能性係数の変動のシミュレーションを行う段階（Decision Study‥D-Study） より詳しくは，「参考文献（一般化可