研究工具性能的测定.ppt

研究工具性能的测定 教 学 目 标 掌握信度的概念和分类 掌握效度的概念和分类 掌握信度与效度的关系 熟悉信度测量方法 熟悉效度的建立和测量的方法 熟悉国外量表翻译的基本步骤 第一节 信度（reliability) 一、基本概念 定义：使用研究工具所获得的结果的 一致程度或准确程度 信度的三个主要特征 稳定性 用同一工具两次或多次测定同一研究对象，所得结果的一致程度。 内在一致性 组成研究工具的各项目之间的同质性 和内在相关性。 等同性 不同评定者使用相同工具同时测量相同 对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具间 的一致程度。 二、信度的计算方法 稳定性测量 内在一致性测量 等同性测量 重测信度 折半信度 评定者间信度 Cronbach’α系数 KR-20值 复本信度 1.重测信度 使用研究工具对研究对象施行第一次测试,间隔一段时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测信度的高低。相关系数在0～1之间，越接近1，说明重测信度越高。 使用重测信度需考虑的问题 1. 两次测量之间的间隔时间 第一次测量不对第二次测量造成影响 客观情况未发生改变 2. 测量环境的一致 3. 工具所测量的变量的性质 2.折半信度 (split-half reliability) 定义：将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的相关系数。 常用来反映研究工具的内在一致性 方法: 前后折半法 奇偶折半法 缺点: 不同的折半方法会导致不同的结果 计算：根据重测信度中列出的公式计算r系数，再使用Spearman-Brown公式校正。 3.Cronbach’α系数 计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致，避免了折半信度计算的缺点。 系数值在0-1之间，越接近1，研究工具的内在一致性越好，信度越好。 4.KR-20值 是Cronbach’α的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究工具，如回答“是”或“否”、“正确”或“错误”。 5.评定者间信度和复本信度 常用于测定研究工具的等同性 评定者间信度测量方法： 不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。 复本信度测量方法： 将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。 研究工具信度的基本要求 1.通常通过预试验测试研究工具的信度 2.报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。 3.一般认为，研究工具重测信度和内部一致性信度系数最小应大于0.7，0.9以上非常好。而评分者信度和复本信度一般应达到0.9以上。 第二节 效度（validity） 定义：某一研究工具能真正反映它所期望研究的概念的程度。 计算效度的方法： 表面效度 内容效度 结构效度 效标关联效度 1.表面效度(face validity) 定义: 由评估人根据自己对所要测量的概念的理解，尽其判断能力之所及来断定工具是否恰当。属于一种直觉判断。 方法：从表面上检查工具的性质。 缺点: 1. 对工具的效度用“有或无”反映，未 体现程度。 2. 缺少实际证据证明工具一定有效。 2.内容效度(content validity) 定义：根据理论基础及实际经验对工具是否反映了所要测量的变量、包括足够项目而且有恰当的内容分配比例等所作出的判断。有时也称专家效度。 方法：从内容上检查工具的性质 实施要求： 1.专家人数3-10人，以5人较合适 2.专家的选择应与研究工具所涉及的领域有关 3.两次评议时间最好间隔10-14天 3.效标关联效度 （criterion-related validity) 定义：反映研究工具与其他测量标准之间的关系。 分类： 同时效度 预测效度 同时效度：测量研究工具与现有标准之间的相关关系。 预测效度：测量工具