第三章_教育测量与评价的质量特性上课用.pptx

第三章 教育测量与评价的质量特性;第二章 教育测量的质量特性;调查问卷是收集数据的重要途径。当我们收回成百上千份的调查问卷后，最关心的是问卷表中的题目能否反映调查的意图，以及所得数据的可靠性怎样。 如何设计出可靠性好、实用性强的调查问卷，如何从调查数据中提取真实可靠的信息，是一项十分重要的工作。信度分析就是用于评价问卷的稳定性和可靠性。;一、什么是信度 ——信度是指用同一测量工具反复测量同一种物质对象所得多次测量结果间的一致性程度，它能够反映测量工具的稳定性或可靠性，一般用信度系数表示。 信度本身与测量结果的正确与否无关，它的用途在于检验测量本身是否稳定。;二、信度简介;三、内在信度估计方法;2、分半信度 ——将测验分半，再求被试在每一半测验上所得分数的相关系数。 首先根据内容、形式、题数、平均数、标准差、难度、测题间相关以及分布形态相等的原则，将试题分成两半，或者将从易到难排列的测题，按照测题序号，奇数测题为一组，偶数测题为一组，分成两半； 然后计算每个被试在两个分半测验分数的相关系数，再用斯皮尔曼—布朗公式加以校正： 式中的rxx为整个测验的信度系数； rhh为两个“半测验”上得分的相关系数。 ;分半信度只需要一种测验形式，实施一次测验，它比重测信度和复本信度的操作更简便。 注意：当一个测验无法分成对等的两半时，不宜使用分半信度。;例三;SPSS软件中进行内在信度分析 分析-度量-可靠性分析-项目（选入代表问题得分的变量）-模型（用于指定要使用的信度系数）-统计量设置-确定-查看结果;重测信度 ——指同一个量表对同一组被试施测两次所得结果的一致性程度。 其大小等于同一组被试在两次测验上所得分数的相关系数，一般采用pearson积差相关的公式来计算。;;例一;在使用重测法计算信度值时，应注意以下问题：;重测信度与时间间隔;一般而言，如果量表的信度系数达到0.9以上，该测验可量表的信度就较好；信度系数在0.8以上，是可以接受的；如果在0.7以下，就应该对此量表进行修订；如果低于0.5，则此调查结果就很不可信了。 信度只是用来衡量一致性（内在信度）或稳定性（外在信度）的指标。 测验的信度越高，表示测验结果越可信，但也不能期望两次测验的结果完全一致，信度除受测验质量的影响外，还受很多其他因素的影响。;（二）复本信度;实施复本测验的方式：一是在同一个时间连续施测（此时所得的复本信度叫等值性系数），二是间隔一段时间后施测（此时所得复本信度叫等值稳定性系数）。 使用复本信度首先要构造出两份或两份以上的真正的复本信度不仅适用于难度测验，也是估计速度测验信度的好方法。 平行测验。这是一个很难达到的条件。另外，重测信度的一些不足，在复本信度中仍然存在，需要加以克服。 ;例二;复本信度的优缺点表现：;复本信度缺点：;一、什么是效度 ——指测量结果的准确性和有效性的程度。也可以说是测量是否达到了预期的目的。 1、效度是一个相对的概念。 （1）测量的效度是相对一定的测量目的而言的 （2）测量的效度是相对测量的结果而言的 2、一种测量的效度只是高或低的问题 测量结果总是有一定效度的，只是效度高低不同罢了。;根据测量目标的不同，对测量工具进行效度验证的方法主要有三种： 内容效度（基于所测内容的效度验证方法） 结构效度（基于所测心理结构的效度验证方法） 准则关联效度（基于效标关联性的效度验证方法）;1、什么是内容效度 ——指测验题目样本对应测内容及行为领域的代表性程度。如果是教学情境下的成就测验，那么其内容效度就是看测验题目样本能体现教学目标与教材要求的程度。 例如，教师给学生做一份语文成就测验，如果该测验的题目涵盖了语文教学所达到的各项目标及教材的重要内容，那么我们便说该测验具有较高的内容效度。为了使测验的内容具有有效性，成为所欲测量内容的一个具有代表性的行为样本，在编制测验时，就要考虑建立内容效度的问题。;2、内容效度的估计;内容效度主要应用于成就测验、学科测验、选拔和分类职业测验。 内容效度不适合用于能力倾向和人格测验。;（二）结构效度;（二）结构效度;1、结构效度的特点;2、建立结构效度的步骤;3、结构效度的估计;（三）效标关联效度;效标不仅随测验的种类不同而不同，而且可能随时间而改变，现在是一个好的成功的效标，将来就不一定是。所以，为某个测验选择一个最有效的效标，这是最重要的事情。 教育测验的效标，可采用各学科成绩和教师评定的结果； 智力测验的效标，可采用学科成绩、教师评判的结果、学生总成绩、受教育年限、年龄以及其他事物；;能力倾向测验的效标，可采用特殊课程或特殊训练的成绩； 职业兴趣测验的效标，可采用从业人员实际服务成绩或记录； 人格测验的效标，可采用编制者的主观标准，或以被试以后行