效度-教育科学学院.PPT

复习上节课的内容： 信度和效度的关系: 信度高是效度高的必要而非充分条件 测验的效度受它的信度制约 第二节 效度的估计 一、内容效度 （一）内容效度的含义及应用范围 内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。 （1） 欲测的知识范围 （2） 知识所要求掌握的程度 内容效度主要应用于成就测验。 也适合于某些选拔和分类的职业测验。 不要与表面效度相混淆 。 但不适合于能力倾向测验和人格测验。 例：有人在编制“领导能力测验”时编写了这么四个问题： A、我愿指挥别人，不愿别人指挥我。 B、我喜欢听古典音乐。 C、人们经常征求我的意见。 D、我身高1米80，体重100公斤。 （二）、内容效度确定的方法 1、逻辑分析法：请有关专家对测验题目与原定内容范围的吻合程度作出判断。 （1）、明确欲测内容的范围，包含知识范围和能力要求两个方面。 （2）、确定每个题目所测的内容 （3）、制定评定量表，内容覆盖率，难度与能力之间的差异，题量和分数的比例及题目的形式 2、克龙巴赫统计分析法 从同一个教学内容总体中抽取两套独立的平行测验，用这个测验来测同一批被试，求其相关若相关高，可能有较高的内容效度。 若相关低，可能有较低的内容效度。 3、再测法：在被试学习某种知识之前作一次测验，在学过之后再作同样的测验，若后测成绩明显若地优于前测成绩，则说明所测内容正是被试新近所学的内容，进而证明该测验对部分内容而言具有较高的内容效度。 （三）、影响内容效度的因素 请思考下面这些流行的信条： 因为“失败”常常先于“自杀”，所以它是“自杀”的原因（可能有历史和死亡因素的影响）。 男孩子生来就比女孩更有数学天赋（可能有被试态度或地点因素的影响）。 女孩生来就比男孩更有语言天赋（可能有被试态度或地点因素的影响）。 少数民族学生的学习能力较来自主流文化的学生差（可能有被试特征、被试态度、地点或研究工具的使用等因素的影响）。 享受福利的人懒惰（可能有被试特征、地点和历史因素的影响）。 学校教育使学生反叛（可能有成熟或历史因素的影响）。 一项暂时开除不“守规矩”的学生的政策提高了某学校的考试成绩（可能有成熟的影响）。 1、被试特征 某一研究的被试选择，可能会在无意之中导致被试个体（或组）的差异，而这种差异恰好与所要研究的变量有关。我们称之为“选择偏向”，或被试特征的影响。 年龄 词汇量 力量 态度 成熟度 阅读能力 性别 流利度 种族 手指的灵活性 协调性 社会经济地位 速度 宗教信仰 智力 政治信仰 2、被试的缺失 无论我们在挑选被试时多么细心，在研究过程中“缺失”一些被试也还是很常见的。我们称之为被试缺失因素的影响 在收集数据时，被试可能会缺席，或没有做完整个测验、调查问卷和其他工具。在问卷研究中，不能完成问卷尤其是一个问题。缺失可能是所有影响内容效度的因素中最难控制的一个。 案例1：某校开展任课教师质量评估工作，李老师班有50人，都参加了投票，满意率为75%；王老师班有50人，45人参加了投票，满意率为74%；所以李老师的授课质量比王老师的授课质量要高。 3、研究场所 收集数据或进行干预的特定地位，都可能会引起对结果的其他解释，我们称之为地点因素的影响。 案例2：某研究者决定对数学和心理学两种专业的学生进行访谈， 以比较他们对各自的本科教学计划的态度。在三周的时间里，他要设法访谈在两个专业中注册的所有学生。尽管他可以在大学的同一间教室里访谈绝大多数的学生，然而时间安排上的冲突使他无法在同一教室里访谈剩余的学生。结果，他在学校旁边的一个咖啡店里访谈了20名心理学专业的学生。 4、研究工具的使用 工具的耗损如果工具的特性在某些方面（包括记分程序）发生了变化，那么研究工具的使用过程也能够产生问题。 案例3：一个大学的管理者改变了以往报告缺勤的方法。只有那些被认为是无故旷课（毫无理由的缺勤）的学生才报告为缺勤；那些有书面假条（来自家长或者学校工作人员）的学生，则不报告为缺勤。该区划报告说，自从建立这个新的缺勤报告系统后，其缺勤率降低了55%。 数据收集者特征数据收集者特征——它是大多数研究工具的使用过程中不可缺少的一部分——也可以影响研究结果。在某研究中，数据收集者的性别、年龄、种族、语言模式或其他个人特征，都会影响到其所收集的数据的性质。 数据收集者偏见数据收集者和评分者也可能会无意识地以某种方式歪曲数据，以致得出某些特点的结果。 在访谈过程中，某访谈者对于某些问题的某些回答无意识地微笑。 喜欢探究式教学的观察者，在探究式教学班中观察到比非探究式教学班更多的“集中注意行为”。 在干预研究中，某研究者在对研究的后测结果评分时，知道