十语言测试的信度.docVIP

十 语言测试的信度 1 信度（Reliability） 语言测试的信度（又叫可靠性、可靠度），是检验语言测试结果一致性的量度。这种一致性或者是关于不同时间的一致性，或者是平行试卷之间的一致性，或者是不同评分者之间的一致性，或者是不同次测试成绩报告之间的一致性等等。信度通常由两列数据之间的相关系数来表示，也叫信度系数。 经典测试理论认为语言测试的报告分数（S）与考生的真实能力（ST，又叫“真分数”）存在误差（SE），三者之间存在如下关系： S = ST + SE 考生的真实能力是无法直接得到的，测试成绩所反映的考生能力是根据考生在测试中的表现推断出的可观测的能力，这种能力用报告的成绩来表示。测试报告成绩有可能高于、低于或等于考生的真实语言能力，二者之间存在误差。 误差的来源主要有四个方面： 考生。如，考试时考生的精神状态（是否兴奋、情绪是否稳定、记忆及反应状况）、身体健康状态（是否劳累） 试题和试卷。如，试题的难易程度、试卷的长短、卷面是否能让考生接受（界面是否友好） 测试环境。如，考场是否符合测试要求（周围不嘈杂、考场设备正常等）、监考人员监考是否规范、友好（着装、走动、查看） 评分。如，评分标准、评分员对标准的理解、评分员的状态（精神及身体方面）、评分过程的安排（是否有质量监控） 上述由“试题和试卷”和“测试环境”造成的影响会对考生的表现产生影响。 误差有随机误差和系统误差之分： 随机误差。这种误差是“由于各种偶然因素的影响而使测验产生的误差，它主要表现在，用同一方法多次测量相同被试时，测得结果不完全一致，因而，随机误差没有规律性，这种误差是随机发生的，没有固定倾向，时高时低，……随机误差必然影响测验信度。导致随机误差产生的因素很多，有量表的特点，有测验的程序，有测验中环境的影响，也有被试在测验过程中身心状态等。”（朱德全、宋乃庆，2007） 系统误差。这种误差是“由于量表有问题或评分标准掌握过宽或过严等原因导致测验结果成倾向性的偏大或偏小。因而系统误差虽然导致测量不准确，但不影响测量结果的稳定性或可靠性，所以不影响测验信度。”（朱德全、宋乃庆，2007） 关于报告分数、真分数和误差分数之间的关系，人们有如下基本意见： 报告分数中包含着真分数和误差，即：S = ST + SE 误差分数是随机的、偶然的，它和真分数之间没有必然的联系 由于误差分数有正有负，对一个大规模的考生群体来说，误差分数的均值可能等于0 2 信度的种类 人们一般采用相关分析的方法来估计一种语言测试的信度的高低。如果一种测试前后两次对同样的考生进行测试，两次测试的结果的相关系数（rXY）大，则说明该测试的信度高；两次测试的结果的相关系数（rXY）小，则说明该测试的信度低。 （1）相关分析 事物之间的关系大致有三种：因果关系（如，努力程度与成绩高低）、共变关系（如，草与树的生长都跟气候有关）、相关关系（两类现象在发展变化的方向与大小方面存在一定的联系，但不能确定也不能排除它们之间是否存在因果或共变关系，如，学生的汉语水平与计算能力） 相关关系有三种表现： 正相关。两列变量的变动方向相同，即一种变量变动时，另一种变量也同时发生或大或小与前一种变量同方向的变动。如，一般情况下，人的身高与体重。 负相关。两列变量中有一列变量变动时，另一列变量呈现出或大或小当与前一列变量方向相反的变动。如，一般情况下，人到了中老年后，年龄的增长与记忆能力的下降。 零相关。两列变量之间没有关系，即一列变量变动时，另一列变量呈无规律的变动。如，个子的高低与智力水平的高低。 相关系数（coefficient of correlation, rXY）是用来说明相关关系强度的指标，它的取值范围是： －1 ≤ rXY ≤1 （可以取小数） 相关系数取值大小表示相关的强弱程度：相关系数的绝对值在1和0之间，表示相关程度的高低，越接近1，相关程度越高；越接近0，相关程度越低。 考察变量之间的相关关系要考虑样本量的大小。样本量过小，可能得出本不相关的变量却相关的结论。 两列变量X、Y的相关关系可以用XOY坐标系描绘出来（散点图）： 正相关 负相关 零相关 （2）信度的种类 根据估计信度的计算方法的不同，信度可以分为再测信度、复本信度、内部一致性信度和评分者信度等。 1）再测信度 再测信度是一种表示测验稳定性的方法，用稳定性系数表示。稳定性系数是用同一试卷先后对同一组考生施测后求得的实得分数的相关系数。 计算再测信度的基本模式为： 适当时距 测试A 测试A 计算再测信度可用积差相关系数计算公式： 例如（朱德全、宋乃庆，2007：142） 测试T施测于14名考生，