第十一讲测评质量分析.pptVIP

第1页，共35页，星期日，2025年，2月5日一项测评是否可靠、可信？一项测评是否准确、有用？一项测评是否公正、公平？一项测评是否经济、合理？第2页，共35页，星期日，2025年，2月5日第一节结果的可靠性分析可靠性由测评信度来决定，信度又由信度系数来衡量一、信度的含义1、信度：测评结果的准确性和一致性程度。2、信度的分类再测信度：按同样的方法对同样的对象进行再次测评。——跨时间的一致性。同一测评对象不同时间的一致性。复本信度：测评结果与另一个等值测评结果的一致性。——跨维度、跨形式的一致性。等值测评对象不同测评的一致性。第3页，共35页，星期日，2025年，2月5日内在一致性信度：各测评项目分数间的一致性。——跨项目的一致性,前提是各测评项目必须是可操作性的。同一测评对象不同项目间测评的一致性。评分者信度：多个测评者给同一组被测评组进行评分的一致性程度。同一测评对象不同考官的一致性。第4页，共35页，星期日，2025年，2月5日二、信度系数的估计信度系数：衡量信度大小的指标。信度指标的一般公式：测验分数=真实分数+测量误差或者：X=T+e信度系数是真分数的变异系数与实得的分数变异系数之比，即：真分数是不可能测到的，因而信度系数是一个估数值第5页，共35页，星期日，2025年，2月5日1、稳定系数用来估计再测信度前后两次测评的结果一致性程度，用积差相关系数求得，公式是：——稳定系数；N——测评数据的个数；X——被分析的测评数据，y——重复测评结果数据第6页，共35页，星期日，2025年，2月5日例：一次品德测评后，随机抽取了其中10名被测，分数是：74，71，80，85，76，77，77，68，74，74；再次测评后，10名被测分数依次是：82，75，81，89，82，89，88，84，80，87。请对这次品德测评结果的可靠性进行分析。代入公式得：r=0.48信度不高。第7页，共35页，星期日，2025年，2月5日2、等值系数通过计算两次测评数据之间的相关系数来求得等值系数，当测评结果是分数时，用积差相关法计算，当测评结果是等级或者名次时用等级相关法计算，计算公式：r——等值系数，N——测评结果的个数，D——同一被测两次评定等级之差。第8页，共35页，星期日，2025年，2月5日10个被测接受了一次技能水平的观察评定，名次分别是1，2，3，4，5，6，7，8，9，10.为了检验测评结果的可靠性，同时进行了另一次等值技能测试，10名被测的名次依次是2，3，1，4，7，6，10，9，8，5.请分析这次技能测评的可靠性。较可靠第9页，共35页，星期日，2025年，2月5日3、内在一致性系数估计不同测评项目对同一素质测评的一致性。两种方法：一种是项目折半分析；另一种是系数分析。项目折半分析：先将测评分分成等值的两半，再计算两组之间的相关系数，斯皮尔曼-布朗公式：第10页，共35页，星期日，2025年，2月5日例子：某公司对10名销售人员进行市场开拓能力测试，采用评定量表，由12个问题组成，将测评数据分成奇数偶数两半，分数如表：姓名ABCDEFGHIJ单项题目得分和（x)5646364534双项题目得分和6654456545测评总分1112910711101079第11页，共35页，星期日，2025年，2月5日∑x=46,∑y=50,∑xy=233∑xx=224,∑yy=256γ???=0.35,γt=2*0.35/1+0.35=0.52信度较低。第12页，共35页，星期日，2025年，2月5日当一次测评无法分成对等的两半时，可考虑用系数分析信度，较常用。克朗巴赫公式：

N——测评项目数，——测评结果的方差，——第i个项目的方差第13页，共35页，星期日，2025年，2月5日4、评分者的信度系数通过两个评分者对同一组被测评分数之间的相关系数来鉴定，可用积差或等级相关来计算，当评分者为两人以上，并且用等级计分时，用肯德尔和谐系数来分析：公式是：K——评分者人数，N——被测评对象数，Ri——第i个被测对象等级之和或分数之和。W越大说明评分者信度越高。第14页，共35页，星期日，2025年，2月5日如果同一被测评对象出现了相同等级，则采用下列公式：第15页，共35页，星期日，2025年，2月5日三、影响信度的因素分析误差：随机误差——偶然因素引起的；系统误差——恒定而有规律的因素引起。