效度分析和信度分析.ppt

* * 效度分析和信度分析 一、背景准备 1、误差公理 误差(error)是指对事物某一特征的度量值偏离真实值的部分，即测定值与真实值之差，样本统计量与总体参数之差。 误差公理：实验结果都会有误差，误差自始至终存在于一切科学实验的过程之中 2、误差的种类： 1）随机误差包括随机测量误差和抽样误差 随机测量误差：没有固定的倾向，可使多次观测结果有大有小。 抽样误差：由于抽样造成的样本指标与总体指标之间的差别。 问卷测验中测量误差通常来源于两个方面： 一是产生于问卷测验过程中的误差，称为测量误差，也称为随机误差； 二是由问卷的结构质量造成的误差，称为系统误差 2）系统误差：是由于偏倚（使研究结果按照一个方向偏离总体， bias）产生的错误结果，可校正和消除。 3）过失误差（gross error)是由于科研设计错误，或实验者的主观片面、粗心大意引起的误差。 效度（validity）通常是指问卷的有效性和正确性，亦即问卷能够测量出其所欲测量特性的程度。 效度是问卷调查研究中最重要的特征，问卷调查的目的就是要获得高效度的测量与结论，效度越高表示该问卷测验的结果所能代表要测验的行为的真实度越高，越能够达到问卷测验目的，该问卷才正确而有效。 问卷的准确性或称为有效性是用问卷的效度加以刻划的，它反映了对问卷的系统误差的控制程度。 二、问卷效度分析 效度是指问卷测验的准确性，即测验能够反映所要测量特性的程度. 其包括两个方面的含义：一是问卷测验的目的；二是问卷对测量目标的测量精确度和真实性。效度是一个具有相对性、连续性的概念。 效度性质——1.效度具有相对性：任何测验的效度是对一定的目标来说的，或者说测验只有用于与测验目标一致的目的和场合才会有效。 所以，在评价测验的效度时，必须考虑效度测验的目的与功能。2.效度具有连续性：测验效度通常用相关系数表示，它只有程度上的不同，而没有“全有”或“全无”的区别。效度是针对测验结果的 常用的效度指标 确定一个问卷效度的方法，通常是以答卷者的问卷得分和另一个效度标准求相关，以其相关系数的大小来表示效度。如果相关系数高，则该问卷的效度就高。 一般常用的效度指标有内容效度、结构效度。 （一）内容效度 内容效度是指问卷内容的贴切性和代表性,即问卷内容能否反应所要测量的特质，能否达到测验目的，较好地代表所欲测量的内容和引起预期反应的程度。内容效度常以题目分布的合理性来判断，属于命题的逻辑分析，所以，内容效度也称为“逻辑效度” 、“内在效度”。 内容效度的评价主要通过经验判断进行，通常考虑3方面的问题： 其一是项目所测量的是否真属于应测量的领域； 其二是测验所包含的项目是否覆盖了应测领域的各个方面； 其三是测验题目的构成比例是否恰当。 常用的内容效度的评价方法有两种： 一是专家法，即请有关专家对问卷题目与原来的内容范围是否符合进行分析,作出判断，看问卷题目是否较好地代表了原来的内容。 二是统计分析法，即从同一内容总体中抽取两套问卷，分别对同一组答卷者进行测验, 两种问卷的相关系数就可用来估计问卷的内容效度。 三是计算某个问题与去掉此问题后总得分的相关性情况，分析是否需要被剔除（敏感性分析）。 （二）结构效度 建构效度：是指测量结果体现出来的某种结构与测值之间的对应程度。效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。 因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。 （三）其他效度指标 1、效标效度 效标效度也称为准则关联效度、经验效度、统计效度。效标效度是说明问卷得分与某种外部准则（效标）间的关联程度，用问卷测量得分与效度准则之间的相关系数表示。 一般估计效标效度的主要方法有： 相关法，即求某问卷分数与效标间的相关，所得结果即效标效度。 区分法，即看问卷分数是否可以区分由效标所划分的团体。 可以运用t检验对先后两次问卷结果平均分数进行差异性检验。若差异有统计学意义，说明问卷是有效的；若差异无统计学意义，说明问卷是无效的。 2、判别效度 判别效标