市场调查方法与技术（第4版）第6章 调查问卷的测试与评估.pptVIP

第6章 调查问卷的测试与评估 本章结构 前测试问卷评估法 1. 2. 预调查和行为编码法 3. 信度与效度分析 前测试问卷评估法 专家评审法 受访者焦点小组法 认知访谈法 一、专家评审法 研究内容角度 问卷问题是否符合研究目的,是否满足研究者的需求 受访者认知角度 问题的措辞、结构、顺序以及回答的选项等,标出引起歧义的词语、含糊不清的概念以及回答困难的题目 主要用于问卷设计初期的问题评审 二、受访者焦点小组法 如询问人们观看艺术表演的频率，受访者不确定偶遇的艺术表演是否属于“观看艺术表演”，很难给音乐活动进行分类 明确受访者对调查主题和相关概念的理解 询问去年观看古典音乐表演的情况,以及对古典音乐表演的理解 了解受访者在该主题使用的相关术语,检查问题的用词和描述是否有歧义、模糊、不准确的情况 请参与讨论者提供一些观看古典音乐表演的例子。讨论哪些算古典音乐,哪些不算古典音乐。 了解受访者回答问题的主观意愿和难度 三、认知访谈法 由访问者根据设计的问题对有偿志愿者进行一对一个人访谈,探索性地了解受访者对问题的理解并试图了解他们组织答案的过程 有声思维法 你是怎么得出这个答案的? 告诉我你是怎么想的? 你在回答问题前犹豫了一会,当时在想什么? 你觉得这个问题回答起来比较容易还是困难,为什么? 三、认知访谈法 追问探寻法 理解阶段:请问您在回答本题时认为生活费都包括哪些项目? 记忆检索阶段:请问您是如何计算出结果,是按年计算、按月计算还是按天计算乘以30,抑或是其他方法？ 筛选判断:请问您认为旅游费用包含在生活费中吗?您觉得您的记忆准确吗？ 做出回答:您是否确定您的回答呢?如果10分表示完全确定,0分表示完全不确定,请问您给出几分？ 三、认知访谈法 局限性 得到的是定性信息 依赖受访者的口头报告 依赖于非标准化的访谈过程,可靠度还有待进一步评估 本章结构 预调查和行为编码法 2. 1. 前测试问卷评估法 3. 信度与效度分析 预调查和行为编码法 预调查测试 正式开展调查之前进行的小规模“演习”,是问卷设计流程中的重要环节,目的是对可行性标准和认知标准进行评估 收集受访者的回答信息进行定量分析 收集访员和受访者反馈的关于调查和问卷的信息,比如印刷错误、错误的跳答指示等 一、对访员和受访者的行为进行编码 访问行为编码表样例 A.访员读题 1.正确 2.访员读题时稍做改动,但没有改变题意。例如访员漏读了“这个” 3.访员读题时做了较大改动,改变了题意。例如访员没有按要求读出选项 B.访员重复问题 1.没有 2.访员完全重复问题 3.访员部分重复问题 C.访员追问 1.访员用其他追问技术获得答案　　　0.没有 D.受访者打断 1.受访者在读完问题前就给出答案　　　　0.没有 E.受访者要求澄清 1.受访者不知道词意,要求澄清　　　　　0.没有 F.受访者回答 1.给出适当回答 2.给出高质量回答 3.给出不适当回答 4.回答不知道 5.拒绝回答 一、对访员和受访者的行为进行编码 受访者和访员行为问题编码的可能原因 问题 可能问题 访员读题有误 措辞不流畅 访员发现冗余或不合语境的措辞 在提问时发现有漏词 打断 题干后面有多余的从句 受访者没有意识到还会有回答选项 访员追问(或不适当的答案) 题意不清 含糊、未定义的术语 含糊的回答任务 题序混乱,受访者无法回忆起前面的回答选项 要求澄清 含糊、未定义的术语 含糊的回答任务 题序欠佳,因此受访者无法回忆起回答选项 二、访员的问题评价表 访员的问题评价表样例 问题编号 逐字读题 有困难 受访者有 理解问题 受访者有 作答困难 其他问题 (请注明) 备注 Q1 A A A ? ? Q2 B A A ? ? Q3 A B A ? ? Q4 A A A ? ? Q5 C C B ? ? Q6 A A B ? ? Q7 A A A ? ? 本章结构 信度与效度分析 3. 2. 预调查和行为编码法 1. 前测试问卷评估法 信度和效度分析 前面介绍的问卷评估方法不能反映被识别出来的问题对数据质量和调查估计结果的量化影响，本节将介绍如何通过信度和效度来评价问卷设计质量，尤其是对量表的评价。 一、信度和效度 信度（Reliability）是指问卷调查结果的一致性、稳定性、可靠性。 效度(Validity)是指问卷能否真正测量到所要测量的东西，也就是能否达到测量的目的，是否正确衡量了研究者所要了解属性的程度。 二、信度评估 信度评估 重复检验法 交错法 折半法 内部一致性 二、信度评估 重复检验法(test-retest reliability) 通过同一测量手段对同一群受访者前后测量两次,再根据两次测量的相关系数测度信度 例如,对一群人进行问卷调查后,隔一段时间再用同一份