人民大2024325699 市场调查方法与技术（第5版）PPT第六章.pptx

市场调查课程第六章调查问卷的测试与评估

学习目标了解调查问卷的评价标准理解有声思维法和追问探寻法的原理

了解问卷设计的一般流程

掌握信息的效度的概念

了解新多评价方法，掌握Cronbach-α系数的原理和判别标准

了解效度评价方法，掌握建构度评价的原理和判别标准

3问卷设计可能直接引起计量误差和无回答误差，而问卷的测试和评估可以帮助检查和修正问卷设计中存在的问题，因此系统的问卷测试、评估和再修改是问卷设计流程中必不可少的环节。问卷质量评估是件困难的事情,现实中对问卷的测试和评估主要聚焦在以下三个标准:（1）内容标准，例如问卷中的问题能否测量出想要研究的特征；（2）认知标准，例如受访者能否理解题意,他们是否愿意并有能力给出可靠的答案；（3）可行性标准，例如问卷的难度如何,实施是否有困难,访员和受访者是否愿意并有能力完成问卷。可靠度和有效性是问卷的两个基本特征，因此信度与效度分析也是问卷设计中的重要环节。问卷设计

4问卷测试方法包括：专家评审法、受访者焦点小组法和认知访谈法应用：问卷设计前期阶段前测法预调查应用：问卷设计的后期阶段

本讲内容5前测法01预调查02信度与效度分析03

前测法01

7专家审评法问卷初稿设计出来后，可以邀请研究领域专家和问卷实际专家从研究内容和认知两个角度对问卷进行评审。主要评估问卷问题是否符合研究目的，是否满足研究者的需求从研究内容角度从受访者认知角度主要评估问题的措辞、结构、顺序以及回答的选项等，标出引起歧义的词语、含糊不清的概念以及回答困难的题目专家评审提供的问题检测列表和修改建议有助于及时发现和修正设计中存在的问题，使问卷更好地满足调查分析的目的。专家评审方法对问题的评判主要是基于专家个人的观点和判断，容易产生争议。对同一问题不同专家的评价可能不同，所以专家评审主要用于问卷设计初期，后期会更多应用其他方法。

8问卷评估体系来源：格雷瑟等(Graesseretal.,1996)提出的包含12类问题的问卷评估体系问卷中的12类问题缺陷(1)语法过于复杂。(2)对工作中的记忆要求过高。(3)模糊或模棱两可的名词或短语。(4)不熟悉的专业术语。(5)模糊或不精确的谓语或关系词。(6)有误导或不正确的假设前提。(7)不明确的问题分类。(8)一题多问。(9)问题和答案选项之间不匹配。(10)问卷要求的信息难以回忆。(11)受访者不太可能知道答案。(12)问题的目的不明确。

9受访者焦点小组座谈会倾听焦点小组成员讨论问卷中的问题，一方面有助于把握目标人群对调查主题的认知程度，另一方面可以很好地考察题目中的概念是否清晰、是否利于理解和回答。例如,在关于文化产业消费研究的某个调查问卷中,要询问人们观看艺术表演的频率。研究者召开了几场受访者焦点小组座谈会,旨在发现人们可能会报告哪些不同的艺术活动并检查初拟问题的措辞。在焦点小组座谈中,研究者发现：受访者不确定偶遇的艺术表演是否属于“观看艺术表演”,比如外出吃饭时欣赏餐厅里的钢琴演奏,在博览会或游乐场碰到音乐演出,是否属于“观看艺术表演”。在焦点小组座谈中,研究者也意识到受访者很难给音乐活动进行分类。当询问受访者观看或参加古典音乐会的次数时,有些受访者认为应该把歌剧算在内,还有一些受访者则不知道如何处理自己观看的古典音乐与非古典音乐混合的演出。受访者焦点小组座谈能提供两种不同的有用信息：可以让研究者了解现实复杂性。在这个例子中,人们显然以多种复杂的方式参加艺术活动,而最初设计的调查问卷并未考虑到这一点通过专题小组讨论,研究者可以发现问卷用词的含糊性。例如人们对“参加古典音乐会”“看艺术展”等有不同的理解，研究者可以重新设计问题帮助受访者按照一致的理解来回答问题

10焦点小组座谈会目标（1）明确受访者对调查主题和相关概念的理解，有助于设计出有利于受访者准确回答的问卷。（2）了解受访者在该主题使用的相关术语,检查问题的用词和描述是否有歧义、模糊、不准确的情况,即受访者对要回答的问题理解是否一致。（3）了解受访者回答问题的主观意愿和难度。例如上例中会询问去年观看古典音乐表演的情况,以及对古典音乐表演的理解。根据小组成员所描述事件的范围,研究者确定是否需要修改问题的目标或调整受访者被问及的现实范围。例如上例中的关键概念是古典音乐。请参与讨论者提供一些观看古典音乐表演的例子。让参与者根据对概念的理解,讨论哪些算古典音乐,哪些不算古典音乐。根据焦点小组讨论结果,明确问卷问题的术语和概念是否有清楚的界定,以确定受访者的理解是否一致。对措辞含糊或不准确的问题进行进一步修改。例如,上例中会询问人们上一年观看古典音乐表演的次数。根据讨论中所有受访者或几乎所有受访者是否能完成问题所提出的回答任务,确定是否需要调整回答难度,例如缩短报告时间,增加回答类别,调整回答尺度等。

11焦点小