SPSSAU_问卷研究_内容效度.pdf

内容效度专家打分随机一致性概率contentvaliditySPSSAU

内容效度

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果4

5文字分析4

6剖析6

7疑难解惑6

效度是指设计的题确实在测量某个东西，一般问卷中使用到。如果是量表类的数据，其一般

是用因子分析这种方法去验证效度水平，其可通过因子分析探究各测量量表的内部结构情况，分

析因子分析得到的内部结构与自己预期的内部结构进行对比，进而判断效度情况。

但如果本身数据不是量表，比如都是些选择题，这些测量项是否有效地测量对应的概念（变

量或维度信息），此时无法使用因子分析，此时可考虑使用内容效度，内容效度的概念较为广泛，

其是指测量项真实可以测量的文字分析佐证，比如来源于某文献或者得到专家的认可等。本文档

则是指专家打分数据的数字化结果论证，将专家打分数据收集后分析，利用实际指标来判断内容

效度。

内容效度案例

Contents

1背景2

2理论2

3操作3

4SPSSAU输出结果4

5文字分析4

6剖析6

7疑难解惑6

1背景

某研究者新设计一份问卷，希望通过专家打分方式来判断其有效性，避免个人主观臆断情

况，研究者共设计出20个测量项（即20个题），并且找到8位该研究领域的专家进行打分（专

家打分只能为1/2/3/4共4个分值，1分代表较差，2分表示一般，3分表示较好，4分表示良

好）并且整理得到数据结果如下图所示。

需要提示的是：打分分值只能为1/2/3/4共4个数字，这是由当前算法决定，如果不是这

样，系统会提示‘专家打分只能为1/2/3/4分!’。以及第1列测量项的名称可修改为实际的名称，

第1行的专家1/2/3等也可修改为实际的专家名称。

2理论

SPSSAU中内容效度的计算参考文献来源如下：

史静琤,莫显昆,MOXiankun.(2012).量表编制中内容效度指数的应用.中南大学学报：

医学版,37(2),4.

柯友枝,孙建刚,李博,刘阳.(2023).问卷是否有效—基于2010-2020年cssci收录体育期

刊文献的系统分析.上海体育学院学报,47(2),37-47.

内容效度的计算上较为简单，专家打分只能为1/2/3/4分，3/4分表示测量项较好或者好，

那么首先计算出每项时打分为3/4分的专家数量，从而得到打分为3/4分的占比情况（即I-CVI

指标），该指标值越大越好，可使用该指标进行内容效度判断，其判断标准如下表格：

专家数量判断标准

=5个专家时I-CVI1小于1则不通过

I-CVI=1则通过

5个专家时I-CVI1小于0.78则不通过

I-CVI=0.78则通过

当专家个数小于等于5个时即专家个数较少时，此时希望专家打分均为3/4分。如果专家

个数大于5个时即专家个数较多时，此时只要78%的专家打分为3/4分即可。

与此同时，为防止专家打分出现随机性，还可计算专家打分随机一致性概率Pc值，并且计

算校正内容效度（调整Kappa，K*值），进一步进行内容效度判断。专家打分随机一致性指标

的目的在于衡量专家打分的独立性，比如10个专家全部都打4分的概率一般较低，那么如果出

现了就需要校正它，即计算调整Kappa值。专家打分随机一致性概率Pc值=C(n,A)*(0.5^n)，

此处n表示专家总数量，A表示某测量项时专家打分为3/4的个数，C表示数学上的组合计

算。得到专家打分随机一致性概率Pc值后，接着计算校正内容效度即调整Kappa值（K*值），

调整Kappa值(I-CVI值–Pc值)/(1–Pc值)，如