3 信度的操作定义及其估计方法,添加动画版.ppt

式中，KR20为测验的信度 ，K为题目数，pi和qi分别表示答对和答错第i 道题的被试人数比例，SX2表示所有被试在整个测验上的总得分的方差。 式中，KR21为测验的信度 ，K为题目数， 表示所有被试在整个测验上的总得分的方差。 克龙巴赫α系数 该方法适合于测验题目的题型较多，并非都是二分计分题的测验的内部一致性信度分析。计算公式： 式中，K为题目数， 表示所有被试在第i 道题上得分的方差， 表示所有被试在整个测验上的总得分的方差。 内在一致性信度的优缺点 优点 一个测验施测一次就可求出信度系数，避免了再测信度和复本信度的缺点 用K-R20公式求信度时，对测题的假定和前提条件较少，是决定测验信度的很好的方法 缺点 把测验分成相等的两部分很困难 折半方法不同，估计出的信度系数也不同 用斯皮尔曼-布朗公式对折半信度进行校正，会高估测验信度。 评分者信度 含义：指多个评分者给同一批人的答卷进行评分的一致性程度。 教育与心理测量工作中，客观题无所谓，主观题常常存在误差，有时误差甚至较大。 评分者信度的计算 当评分者人数为两人时，评分者信度等于两个评分者给同一批被试的答卷所评分数的相关系数，依据数据形式，采用不同的相关系数计算方法。 当评分者人数多于两人时，评分者信度可用肯德尔和谐系数进行估计。 肯德尔和谐系数是表示多列等级变量相关程度的一种方法，资料的获取采用等级评定的方法，即让K个评价者对N个被试的试卷(或作品)进行等级评定，每个评价者都能对N份试卷(或作品)排出一个等级顺序，于是得到K列等级顺序变量。 式中，W 为肯德尔和谐系数，K 为评价者的人数，N为被评价的试卷(或作品)个数， S 为每一个被评价对象的K个等级之和的离均差平方和，即： Ri为第i 个被评价对象的K个等级之和。 每次的测量结果实际包含被测的实际水平和测量误差两部分。 物理测量：皮尺、钢尺、台秤、天平； 教育和心理测量：各种测验量表； 产生随机误差的因素：施测环境、读数、时间、主被试关系、被试的动机和情绪等。 测验信度是对测验工具及其操作的整体质量的一种量度，是测验性能的重要质量指标。 靶形图说明稳定性和准确性的关系：水平发挥不但要稳定还要打得准 从操作层面来看：所谓测验的信度就是同一个测验对同一组被试施测两次或多次，所得结果的一致性程度。 测验的信度一般是以两次测验结果的相关系数来表示。 测验的信度并非全有或全无的区别，只是程度上的不同。 以同一个测验对同一组被试先后施测两次，所得结果的相关系数就是再测信度。 测量的一致性程度越高说明测量结果越稳定，由此人们在使用所得测值时就会感觉其可靠性越高。 有时把再测信度也称为稳定系数。 再测信度的基本假设：假设某测验所要测量的潜在特质，短期内不会随时间推移而改变，故再测信度的高低和测量时间间隔长短密切相关。 再测信度的优缺点 优点 首测和再测只需要一套题目，无需编制两套测验 同一套题目无论施测几次，所测量的属性完全相同 缺点 被试的两次作答不独立 两次测验时间间隔影响再测信度 两次施测时被试的主观状态影响再测信度 两次施测时被试的客观环境影响再测信度 间隔多久恰当呢？ 无固定标准，一般来说，在间隔时间内，被试的遗忘和练习的效果基本上相互抵消，即为适度的时间间隔。 再测信度的适用范围 适用于异质性测验 异质性测验：一个测验包括几个不同的部分，这几个部分分别测量不同的特质。 适用于速度测验而不适应于难度测验 适用于运动技能的测验 有些测验不适合施测两次，这时我们可以编制两份等值但并不相同的测验对被试施测(其时距尽量短，可短到两次测验接着进行)，其所得结果的一致性程度称为复本信度，其大小等于同一批被试在两个测验上所得分数的相关系数。 所谓测验的等值(或平行)是指:试题题型、题数、难度、指导语说明、施测要求等方面都相当，用来测量相同潜在特质或属性，试题不相同 两种方式：同一时间连续施测（等值系数）；间隔一段较短的时间后施测（等值稳定性系数）。 在实际操作中，为了抵消顺序效应，可以使半数被试先做A本再做B本，使另一半被试先做B本再做A本； 两次测验的时距应尽可能短； 由于复本在许多方面相似，所以信度系数有稍微偏高的倾向； 注意被试的厌倦心理对测验产生的影响。 优点 一个测验有两个或几个复本，意味着对于测量同一种属性具有两个或几个行为样本。由于测题数目的增加，对于与所欲测量的属性相联系的行为总体的代表性增强。短期内对同一组被试施测时，复本信度系数很高。 在不同时间使用，既可以反映在不同时间的稳定性，也可以反映对不同测题的一致性。 可以避免再测信度的缺点。 缺点 编制两个完全相等的测验很困难