外语教学调查问卷的评价.pptVIP

外语教学调查问卷的评价

本章结构问卷的项目分析问卷的信度分析问卷的效度分析极端分组法内部一致性分析法外在信度检验内在信度检验再测信度复本信度折半信度Cronbachalpha系数内容效度结构效度：因子分析方法项目分析1.定义广义的项目分析是指对问卷项目进行定性和定量分析。定性分析涉及项目是否具有代表性，测量是否客观、准确等。定量分析则是通过一定的统计程序检验项目的区分度。狭义的项目分析仅限于定量分析。2.作用了解每个项目是否有效的区分了所测量的不同特性的受访者，从而有效地改进问卷的信度和效度；了解每个项目的答案分布情况，以确保问卷项目具有良好的区分度。3.区分度区分度是指问卷项目对所要测量内容的区分灵敏度或鉴别能力。区分度的高低反映了问卷项目能否有效地区分受访者，也称为项目本身的效度。定义极端分组法就是根据受访者在各项目上的测评结果，先计算出全部问卷项目的总分，将问卷项目的总分从高到低排列，以27%的标准分别抽取出高分组和低分组，最后进行独立样本T检验。查看统计结果，看高分组和低分组在每个项目上的差异是否达到显著性水平（p≤0.05），如果达到显著性水平就说明该项目具有较好的鉴别度。独立样本T检验独立样本T检验是检验两个样本是否来自两个平均数相同的总体，即比较两组的平均值。它必须具备两个假设条件：1）两个总体都呈正态分布；2）两个总体具有相同的方差。独立样本的t值等于两组平均值差除以两组平均值差的标准差。t值越大，表明两组间的平均值的差异越大，就越有可能达到显著性水平。极端分组法步骤对问卷所有项目（即变量）的得分（即变量值）求和；根据总分的高低对受访者进行排序分组，取总分最高的27%的受访者作为高分组，取总分最低的27%的受访者作为低分组。若样本较小，也可将前50%和后50%的受访者分别作为高分组和低分组。比较高分组和低分组在每个项目上的差异，如果差异小而达不到显著水平，就意味着这个项目不能很好的区分不同的受访者，因此，在随后的数据分析中可以考虑将其排除。内部一致性分析法1.概念内部一致性分析法也称相关分析方法，是指根据受访者在各项目上的测评结果，计算全部项目的总分，对每个项目与量表总分进行相关分析。2.步骤1）对问卷所有项目（即变量）的得分（即变量值）求和；2）对每个项目与总分进行相关分析。如果相关系数等于或大于0.30，且达到了显著性水平（p≤0.05）,则表明项目内部的一致性程度高，达不到该要求的项目需要删除。注：①问卷项目区分度的大小受到受访者群体异质程度的影响，受访者群体越同质，问卷项目的区分度越小。②项目区分度还受到样本量大小的影响，样本越大，项目的区分度也就越大。定义分类（外在就是整个问卷是否可信，内在就是问卷中的各个项是否可信）信度也称可靠性，是指测量结果的稳定程度或一致性程度。它是关于使用问卷在不同时间不同地点调查相同的受访者结果是否相同，或使用另外一份性质相同的问卷调查结果是否一致的问题。（信度就是可信度或者可靠性，信度越高越可信，判断一个人可信不可信，言行是否一致，说的话前后是否一致，要是一天一个样说明不可信，关键在于一致性）外在信度检验：通过对累计检验结果进行比较来验证问卷的信度。若结果差异较大，说明问卷的信度不高；若无明显差异，即测量结果具有一致性，说明问卷的信度高。(一套难易水平相同的卷子，测验两次，第一次20分，第二次100分说明试卷信度低)内在信度检验：是指测量同一概念的不同项目之间的一致性，即检验量表的内在一致性，目的是要测量相同现象的不同项目是否产生类似的结果。（还是这套卷子，第一题和第六题都是定语从句的，就换了换词，但是第一题对了，第六题没对，说明试卷对定语从句这个项目考查的内在信度低）信度分析常用的是再测信度和复本信度。概念：是指用相同的问卷在不同的时间、相同或类似的条件下，对相同受访者进行先后两次测量，根据两次测量的结果进行相关分析，得出相关系数，即为再测信度系数。相关系数高就说明该测量工具稳定性好、信度高。（设计一个问卷今天给你答了，一个月以后再给你做，结果一致，再测信度系数就高，信度就高）再测信度（再测就是再测一次）优点：可以为预测受访者的未来行为提供依据；能进行自身比较，从而避免了使用其他工具作为效标可能带来的问题。缺点：与间隔时间的关系非常密切，初试测量可能影响被测特征。例如受访者可能凭着对第一次测量的回忆来回答问题，导致无法客观地反映测量工具的信度。（如果今天测了隔天就再测，会想起昨天我答得A，今天还答A，凭借回忆来作答，不用思考甚至都不用看题，那和没有再测是一样的）外在信度检验缺点：需要耗费大量的时间，设计难度大。（那有一个问题，就