概化理论在教学评价中的应用.ppt

表2 G研究变异分量估计 效 应 c t:co i o s:t:co ci co io cio ti:co si:t:co 0.146 0.1196 0.0089 0.0013 0.4442 0.0144 0.0350 0.0001 0.0080 0.0254 0.2861 概化理论在教学评价中的应用Generalizability Theory in Educational Assessment 教学评价 教学评价的一般做法是：运用一个标准化的教学评价量表，由全体听课学生对教师所教课程的教学效果等进行评价。 常见的测评目标： 教师：教师晋升等 课程：调整课程结构或教学经费等 教学事件：学科点教学质量与水平等 常规使用的评价方法 —— 综合评价法 建立指标体系 确定指标权重 计算综合指数 有时，同一个教师讲授不同的课程，或同一门课程在不同时间进行讲授，或同一门课程由不同教师在不同时间进行讲授等等。 因此，影响教学评价的因素是复杂的，一般可区分为以下五个方面： 教 师 ( teacher, t) 课 程 ( course, c) 学 生 ( student, s) 测评项目 ( item, i) 测评场合 ( occasion, o) 教学评价结果的可靠性如何，在国内尚未引起足够重视。 教师作为测评目标 在传统的教学评价中，教师常被作为测评的目标。 我们关注的问题是：某位教师在将来教新学生或新课程，或用新的评价量表来评价他时，教学评价结果的可靠性到底有多高？ 课程作为测评目标 同样，不同的教师讲授这门课程、或不同的学生评价这门课程、或不同的学期评价这门课程、或采用不同的量表评价这门课程，测评结果的可靠性如何？ 学科点作为测评目标 将教师和课程作为一个整体当作测评目标，这种教师和课程的联合体称之为教学事件(teaching event)。 此时评价的兴趣在于二者的联合体而不在乎是谁教了什么课程。同样，教学事件被不同学生在不同场合采用不同量表评价的结果可能存在差异。 概化理论在教学评价中的应用 概化理论的基本思想：分析影响测评的各种变异来源，并将其作为模型参数，采用统计调整技术，估计其对测量结果的影响程度。 根据研究目的，考察测评目标与总分变异的比例。一般，测评目标占总分变异比例较大，测评的可靠性较高。 回答两个问题： 测评是否可靠？ 可靠的测评需要什么条件？ 基本步骤 概化研究(Generalizability Study，G研究) 决策研究(Decision Study，D研究) 概化研究的内容 1. 确定测评目标 明确测评侧面(facet) 3. 确定设计结构与数据类型 第一种教学评价数据： 不同学生选择不同的课程并由不同的教师来教（学生嵌套于教师和课程中）； 同样的课程由不同的教师来教（教师嵌套于课程中）； 同一门课程在不同学年由不同教师任教（课程与评价场合为交叉结构，教师嵌套于评价场合，学生同时嵌套于教师和评价场合之中） 第二种教学评价数据： 同一教师任教不同课程（课程嵌套于教师）； 同一教师在不同学期任教不同的课程（教师与课程嵌套 于场合）； 无论哪种情况，由于学生一般在不同的学期会选修不同的课程，所以学生是同时嵌套于课程与场合的。 第三种教学评价数据： 即将教师执教一门课程或某门课程由一位教师来教看成是没有区别的教学事件。 4. 估计主效应与各交互效应 测量目标所对应的主效应、以及目标与各测量侧面的交互效应 随机单面交叉设计 教 师 (p) 1 2 …… N 评价项目 (i) 1 2 …… m 图-1 随机单面交叉设计示意图 记 为任一教师 p在测量项目全域中任一项目 i 中的得分，则G研究统计模型可表达为： 总均值 教师效应 项目效应 残余效应 随机单面交叉设计G研究各效应估计 图-5 随机单面交叉设计 变异来源唯恩图 pi i p 概化系数 (generalizability coefficient ) i p pi 教师主效应(p) 交互效应(pi) 项目主效应(i) 根据美国西部某大学1995—1996年度教学评价资料，从三个角度分析