《传播方法》第五讲素材.ppt

五、测量质量的评估标准 信度（Reliability） 研究结果反映研究对象实际情况的可靠程度。即，对同一现象进行重复观察是否可以得到相同的资料。 信度检验测量工具的稳定性。 信度并不一定代表准确性。 例：如何评估两家性质不同的工厂的员工士气？一家员工从事十分专业的工作，另一家工厂员工都有各种不同的工作。 策略1：花较多的时间观察工厂员工；询问工人；之后进行比较； 策略2：查阅公司档案，考察在一段时间内向工会提出申诉的案件数量。 五、测量质量的评估标准 信度（Reliability）的检查 当资料来自同一个观察者时，信度问题尤其突出。因为没有一种有效的方法可以阻止观察者个人的主观性介入。 由于受访者态度和行为的影响，不同的访问者会从同一个受访者那里得到不同的答案。【内容分析】 当我们让受访者提供自己的信息时，类似的问题也会发生。 问的是对方不能确切回答的问题。如：你总共去过教堂几次？ 问的是根本与对方毫无关系的问题。如：你对现今美国和日本之间的关系感觉满意吗？ 问的问题过于复杂，受访者尽管有清楚的观点却无法清楚地表达。 五、测量质量的评估标准 信度（Reliability）的检查 重复信度/前侧-后测方法（Test-retest method）：重复同样的测量处理信度问题。如果预期获得的信息不该有变化，那么重复测量就应该得到相同的结 果。如果两次测量的结果有出入，且差异较大，那么测量方法就一定有问题。 例：Jeffery Sacks, W. Mark Krushat and, Jeffery Newman, 1980: 有关危害健康的评估调查。对207名受试者进行问卷调查，有关受试者特征及其行为的描述。三个月后，对同样的受试者发出完全相同的问卷，最后把两次问卷结果进行比较。 五、测量质量的评估标准 信度（Reliability）的检查 复本信度（Parallel-forms Reliability）：以两个等值但题目不同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数。 在重测信度中，由于第二次测验用的是与上一次测试完全相同的测试项目，因此会存在诸如学习、记忆、动机方面的问题。而复本测验则不会存在这个问题，编制一个等值的复本就是用它来替代重测信度中的第二次测验。 对于许多测验来说，建立复本是很困难的事。 五、测量质量的评估标准 信度（Reliability）的检查 折半信度（Split-half method）：当研究者以多重指标测量某一概念时，可将这些指标随机分为两组，检验每一半的测量结果是否相同。 例：设计一份问卷，其中10个问题涉及女性歧视现象。可将这10个问题随机分为2组，每组有5个问题。如果每组问题都对女性歧视变量提供了很好的测量，两组问题所获得的结果也应该反映测量的预期。如果这两组问题得到的结果不同，那么，测量的信度就一定有问题。 五、测量质量的评估标准 信度（Reliability）的检查 利用已有的测量方法：采用他人使用过的、经过检验的、十分可信的测量方法。 例：如果想测量个体失范，可以采用史汝尔量表。 问题：使用被人问广泛采用的测量方法并不意味着没有信度问题。 评分者信度：解决社会调查中访问员造成的信度问题。 由督导打电话给部分受访者检验资料的准确性。 复证（replication）：请多位编码员对同一份资料进行编码 明确、具体、训练、练习，都是避免出现信度问题的有效方法。 五、测量质量的评估标准 如何改进信度？ 清晰地概念化所有概念 例：区分“工作士气”与相关的概念，如“情绪”、“个性”、“工作态度”等等； 在尽可能精确地水平上测量 使用多种变量指标测量 使用前测、试测、重复等手段 测量 自变量 A 测量 因变量 B a2 a1 a3 b1 b2 具体指标 具体指标 图：使用多指标测量 经验关系？ 五、测量质量的评估标准 效度（Validity） 正确性程度，研究结果说明研究所要说明问题的正确程度。实证测量在多大程度上反映了概念的真实含义【共识】。 效度是相对于特定研究目的和研究侧面而言的。 五、测量质量的评估标准 效度（Validity） 表面效度（face validity）：实证测量的结果与我们的共识或我们头脑中的印象的吻合程度。 例：智力测验（IQ）对于智商的测量要比检验一个人在图书馆看书的时间更为准确。 例：测量员工士气，也许会因为计算员工向工会申诉的次数而发生分歧，但以“员工向工会申诉数”测量员工士气，要比测量员工下班后到图书馆借书的数量更为准确。 有些概念在学术界已经达成了共识。比如家庭、户数、雇佣状况等，这些概念具有实用效度。 五、测量质量的评估标准 效度（Validity） 内容效度（content validity）：测量在多大程度上包含了概念的全部含义。