SPSS在教育统计中的应用——以PISA数据为例 课件 第9章 信度和效度分析.pptx

第九章信度和效度分析

基本概念信度分析的意义？信度分析旨在确定测量工具的结果是否可靠，即在不同时间点或在不同情境下，测量工具是否能够产生一致的结果，以确保其具有较高的稳定性，从而增加测量结果的可靠性。什么是信度分析？教育测量中的信度分析是评估测量工具的稳定性和一致性的过程，在教育研究过程中常需要借助如考试、问卷调查、观察量表等测量工具对研究对象进行评定。

信度分析的主要类型（1）重测信度法：研究者使用相同的测量工具对同一群体先后间隔一段时间进行两次测量，然后计算两次测量结果的相关系数。（2）复本信度法：研究者使用两个等价但不同形式的测量工具对同一群体进行测量，以计算这两个测量工具之间的相关系数。（3）分半信度法：研究者将测量工具的各选项分成两部分，然后比较这两部分在测量研究对象时的一致性。分半信度属于内部一致性信度，分半方法有奇偶分半、难度分半等。（4）α系数（Alpha系数）：克隆巴赫系数（Cronbachsalpha）是评估量表或测验信度常用的统计指标。（5）评分者信度：用于评估不同评分者之间评分的一致性。使用肯德尔和谐系数来比较多个评分者对相同一组项目的评分结果。

效度分析测验效度是指测验所测量的内容与目标之间的关系程度。具体来说，教育测量中的效度衡量了评估学生在某一领域的知识、技能或能力结果的准确程度。测验效度的类型（1）内容效度：指测量工具的内容是否充分、恰当地反映了要测量的概念。内容效度通过专家评审、内容分析等方式进行评估。（2）结构效度：指测量工具所反映的结构是否与理论假设一致。结构效度通常通过验证性因素分析、相关性分析等统计方法来验证。（3）效标关联效度：指测验结果与外部某个标准（效标）之间的关系。（4）外部效度：指测验结果在不同情境下的适用性程度。外部效度考察测验结果是否可以推广到其他样本、环境或条件中。

使用测验的准确性来确定其效度，具体是计算在命中正确情况下的比率，计算方式如下：命中率法比较在效标上有不同水平特征的组别在测验得分上的差异来确定测验的效度。区分法通过测验得分与其他效标变量得分之间的相关性来确定测验的效度。相关法效标关联效度计算方法

SPSS操作测验信度在SPSS中的计算克隆巴赫α系数分半信度测验效度在SPSS中的计算相关法区分法命中率法因子分析法

第一步：点击文件，选择“打开”→“数据”，打开“CY07_MSU_STU_QQQ.sav”文件；第二步：点击分析，选择“标度”→“可靠性分析”，便可打开一个对话框；第三步：在左边列表中把要分析的变量放入右边的“项”里面，如图9-2所示。本题选择“WB155Q01HA”“WB155Q02HA”…“WB155Q09HA”“WB155Q10HA”共10个变量。数据选择：使用国际大规模测评PISA2018年对全球国际学生幸福感测量的数据进行分析，选择了“WB155”主题中的10小题代表的“学生生活满意度”调查问卷来进行信度检验分析。克隆巴赫α系数

选择分析模型：（1）“Alpha”，计算克隆巴赫α系数。（2）“折半”，计算分半信度。（3）“格特曼”，用于评估测量工具内部各项之间的相关性。（4）“平行”，比较两个或多个并行测量工具的得分来评估它们的信度。（5）“严格平行”，是对平行模型更严格的要求。除了要求测量工具有相同的结构和内容外，还要求它们的测量误差完全相同。克隆巴赫α系数

第五步：点击“统计”，在“描述”框中勾选“项”、“标度”、“删除项后的标度”。随后点击“继续”，返回主对话框。第六步：在主对话框点击“确定”。第七步：信度分析，结果如下：克隆巴赫α系数结果显示克隆巴赫α系数为0.893。根据克隆巴赫α系数的评价标准，量表的α系数理想，表明其信度很高，且测验信度不低于0.893。

项总计统计：研究各个项目与整个量表得分之间的关系。克隆巴赫α系数“删除项后的标度平均值”：若删除某一项目，则得出该量表的平均分。如若把第一个项目删除，量表的平均得分则为27.86。“删除项后的标度方差”：若删除某一项目，则为该量表的变异程度。“修改后的项与总计相关性”：该项目的得分与其他剩余项目得分之间的相关系数。“删除项后的克隆巴赫Alpha”：将该项目删除后，量表重新计算的α系数。本例中，没有项目在“修改后的项与总计相关性”上的数值为负数，说明没有一个项目与其他项目之间呈反向相关的关系，不需要考虑删减题目。

前面步骤不变，在放入变量时，先将奇数项目放入，再将偶数项目放入。分半信度在使用了奇偶分半法后，在等长的斯皮尔曼-布朗系数下，分半信度为0.905。

效度分析——相关法数据选择：使用国际大规模测评PISA2018年对全球国际学生幸福感测量的数据进行分析，学生的数学和科学成绩分别由10个拟真值组成，选择其中一个拟真值，此处数学成绩取PV1MATH，科学成绩取PV1SC