在线问卷调查的质量控制法.doc

2012-06-06 本文行家：夕阳牧马人 在线调查在中国正处于从“量的增长”到“质的提升”的转换过程中。虽然越来越多的人开始利用在线调查，但对其数据质量仍会有很多担心和质疑。当前对整个在线调查行业数据质量产生不良影响的“答题不认真”现象尚未得到很好控制。本次研究探索了在无逻辑或模糊逻辑情况下，利用概率清除的方法对在线调查中“答题不认真”现象进行有效控制，并将这一具有“普适性”的方法在软件中固化，从而推动在线调查在中国的进一步推广和发展。 ?????????一、引言????????在线调查在中国正处于从“量的增长”到“质的提升”的转换过程中。企业在体验在线调查的高效、经济、便捷的同时，也承受着对在线调查数据真实性、可靠性的担忧。一项最新的关于企业应用在线调查的研究数据显示，有意向使用在线调查的企业中，100%都曾提出过如何保证数据有效性的问题，87%的企业会问：“被访者从何而来，如何保证他们是真实的？”，85%的企业会问：“被访者如果不认真答题怎么办？”，而目前尚无意向使用在线调查企业中，出于对质量担忧的占到近60%。对在线调查数据质量的控制与提升是每个企业已经或即将面临的问题。????????????????1、现行主要质量控制手段的应用与局限性????????1）逻辑关系校验????????目前针对在线调查的质量控制方法中应用最为普遍的是逻辑关系校验，包含题目自身各选项间的逻辑和题目间逻辑。选项间逻辑通常非常简单，主要是选项互斥或包含的关系，题目间逻辑主要存在于一些具有特定关系的指标中。这些题目在问卷中数量有限，通常不会超过20%，且大多数与甄别部分相关，对主体问卷中题目数据质量的控制作用较微弱。????????在线调查中，为了验证一些关键信息，尤其是和甄别相关的信息，我们会主动设置地雷题，用于筛选前后矛盾的答题者。这种方法在一定程度上可以帮助我们辨别被访者是否存在作弊的情况，但这种辨别不是绝对的，因为一个被访者很可能在开始时的回答是真实的，但是由于问卷过于长等其他原因，在后期没有耐心继续认真回答时，在地雷题上出现前后不一的情况。如果以此作为标准，筛除这些样本，那么在一个问题相对比较多的在线调查中，通过这种方法筛除的被访者比例可能是相当高的，而没有被筛除的人并不能排除其作弊的可能性。????????2）历史数据比对????????基于在线调查的特殊性，对于有样本库的在线调查公司而言，可以将某一次调查的数据与注册信息或其他调查信息进行对比，验证其所填内容的真实性。但一方面不是所有的问卷信息都可以作对比，另一方面有些信息对比后发现不一致现象，并不能100%说明是被访者作弊，因而这种方法在实际应用中存在一定的局限性。????????3）基于内容的人工检查????????这种质量控制方法由于个性化很强，和产品或品牌本身特性相关，不是每个调查中都会涉及，也很难形成相对统一并且固化的质量控制方法，更多地需要研究者的介入。? ????????综上，目前的在线调查质量控制方法对于有逻辑的题目可以进行控制，但是对于无逻辑或模糊逻辑的题目很难产生实际效果。????????????????2、影响在线调查数据质量的关键因素????????在一个调查中，非抽样误差通常来自于三个方面：设计人员、访问员、受访者。由于在线调查中没有了访问员的环节，相比传统调查，在线调查已经大大减少了产生非抽样误差的可能性。在研究设计符合在线习惯的前提下，担心的唯一来源就是被访者了，一方面是被访者作弊，另一方面是被访者答题不认真。????????一个符合在线习惯，同时不涉及过多个人隐私的问卷，被访者不存在主动作弊的动机，同时，后台严格的管理使被访者的作弊成本很高，因而作弊现象很少发生。一旦发生，我们通常可以通过逻辑校验、设置地雷题、与会员过去答题情况和注册信息等已有属性对比来进行有效筛除，因而这一现象目前已得到有效控制。????????但被访者答题不认真的情况尚未得到很好控制，一方面这种现象无法主动避免，主要是由于：????????1）在线调查无法主动控制被访者参与的情况；????????2）每个题目对被访者的吸引程度不同，被访者很可能对整体调查主题比较感兴趣，但对问卷中的某个内容不感兴趣而不认真作答；????????3）题目设计本身可能存在各种问题，造成被访者回答困难；????????另一方面，主体问卷中的绝大多数题目是无逻辑可依的，当前主要的质量控制方法无法对每个题目产生普遍作用，因而这一现象始终无法根除。????????基于此，本研究通过探索无逻辑或模糊逻辑情况下的在线数据质量控制方法，剖析以下三个重要的问题：????????（1）如何系统应对在线调查中“答题不认真”的现象？????????（2）对于主体问卷中无逻辑