数据质量评估与控制：以市场调查为例.pdfVIP

  论文摘要   随着市场经济的不断发展，商品供应的急剧增加，以及市场竞争机制的日 益完善，消费者对商品需求选择的空间大大拓宽，越来越多的决策者开始意识 到市场调查的重要性，它可以帮助企业经营者认清市场，从大量错综复杂的市 场现象中提炼关于市场本质及其发展规律的信息，为企业选择投资方向、产品 发展方向、调整产业及产品结构等提供有力的决策依据，是企业进行科学市场 预测决策的坚实基础。事实上，现实生活中还有很多的问题是需要通过科学的 市场调查去发现和解决的，市场调查的基础性和重要性由此可见一斑，市场调 查数据质量的评估与控制也就变得尤为关键。 从现有文献资料来看，随着我们对大规模统计数据搜集系统的需求日益强 烈，关于数据质量的研究也越来越多，数据质量的概念已经从传统的准确性拓 展到多维的、全方位的数据质量概念体系，如何建立一套全面、系统、有效的 数据质量控制体系已成为社会各界关注的焦点问题。此外，随着统计理论与方 法的不断发展，其在数据质量研究中的应用亦得到不断完善，结构方程模型、 离散选择模型、神经网络和关联规则等方法开始在数据质量评估与控制中得到 初步应用。 鉴于以上，本文以市场调查数据质量为研究对象，在国内外关于数据质量研 究的理论基础上，结合市场调查数据特点，对市场调查数据质量的评估与控制 进行一系列探讨，包括准确性评估、整体优度评估，以及探索性数据分析、统 计模型等在数据质量控制中的应用。本文最大的特色在于，建立市场调查数据 质量评估的三级指标体系，并将模糊综合评价应用于市场调查数据质量的评估。 此外，本文还利用北京地区互联网用户使用行为调研数据，从实证角度比较各 种理论方法的优缺点，以及它们在现实中的可操作性。 通过比较，本文得出以下几点结论：（1）探索性数据分析简单直观，对数据 要求低，与市场调查数据的特点十分吻合，其在市场调查数据质量的评估与控 制中发挥着极其重要的作用。在探索性数据分析的基础上，进行统计分布检验 或基于汇总数据的误差估计，代表了市场调查数据准确性评估未来发展的方向。 在案例分析部分，我们也是通过探索性数据分析方法发现，在北京地区互联网 用户使用行为调研的数据中，“消费行为”部分存在严重的无回答现象，数据准   确性较差，不利于后续的分析与建模。 （2）模糊综合评价在市场调查数据质量整体优度评估中发挥着至关重要的 作用。当我们无从知道调查数据总体分布或者已知调查数据来自非概率抽样时， 一些与分布相关的数据质量评估方法失效，但模糊综合评价依然适用。虽然该 方法具有一定的人为性，可能会在一定程度上影响最终结果的科学性和客观性， 但随着模糊综合评价的发展与完善，其在市场调查数据质量评估中的应用会更 加广泛。 （3）统计模型在市场调查数据质量控制中的应用既是一种创新，又具有很 大的挑战性。利用判别分析、二元选择模型等方法实现对市场调查数据质量的 实时控制，从理论上讲是科学合理的，亦是可行的。但同时我们也必须看到， 统计模型对数据的要求也相当高。判别分析要求有很好的训练样本和待判样本， 甚至已知数据的总体分布，例如贝叶斯判别；二元选择模型的使用更是要建立 在随机误差项分布已知的前提下，这些要求对市场调查数据而言是比较苛刻的， 特别是当我们采用非概率抽样来获得数据时，是很难用概率分布来描述数据特 征的。要想实现统计模型在市场调查数据质量控制中的应用，对于前期数据采 集过程必须给予更多更严格的限制条件，包括在抽样设计、变量设置等方面， 这也是我们未来关注与努力的方向。 关键词：市场调查；数据质量；评估与控制；模糊综合评价；探索性数据分析   Abstract     With the continuous development of market economy, the sharp increase in the supply of goods, and the increasing perfection on the sophisticated market competition mechanism,