市场调研的资料整理中数据缺失处理的方法探析.docVIP

市场调研的资料整理中数据缺失处理的方法探析 　　【摘　要】市场调研资料整理中数据缺失，给数据分析与应用带来很多困难，有时会严重影响统计分析的效果。本文对市场调研资料整理中数据缺失处理方法进行了探讨，介绍了几种常用的处理缺失值的方法。希望能有效地对缺失资料进行补充，使统计分析达到良好的效果。 　　【关键词】市场调研；资料整理；数据缺失；处理方法 　　市场调研资料整理是根据市场分析研究的需要，对市场调研获得的大量的原始资料进行审核、分组、汇总、列表，或对二手资料进行再加工的工作过程。其任务在于使市场调研资料综合化、系列化、层次化，为揭示和描述调查现象的特征、问题和原因，以便提供初步加工的信息，为进一步的分析研究准备数据。市场调研中产生缺失数据情况经常发生，甚至是不可避免的，其原因也多种多样。 　　一、造成数据缺失的原因： 　　1）有些信息暂时无法获取。 　　2）有些信息是被遗漏的。可能是因为记录时认为不重要、忘记填写或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 　　3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶情况、一个儿童的固定收入状况等。 　　4）有些信息被认为是不重要的。调查人员主观臆断造成。 　　5）获取这些信息的代价太大。 　　二、处理缺失值的方法 　　市场调研资料整理中数据缺失，它给数据分析与应用带来很多困难。许多的分析模型和统计方法都要求数据完全，即对所要分析的每个变量，其每条记录中变量值不能有缺失，如随机区组、重复测量设计以及大型数据回归分析。若某单元数据有缺失，资料将无法进行分析。小量缺失回答是可以容忍的，但如果缺失值超过10%，就可能出现严重问题。笔者认为，处理缺失值的方法主要有：用一个样本统计量的值代替缺失值；用一个统计模型计算出来的数值代替缺失值；将有缺失值的个案剔除；将有缺失值的个案保留，仅在相应的分析中作必要的排出。 　　（一）用一个样本统计量的值代替缺失值 　　用一个样本统计量的值代替缺失值，最典型的做法是用变量的平均数代替缺失值，称为均值估计。算术平均数是平均数中最常用、最基本、使用最广泛的平均数，也称为均值。它的基本形式是总体各单位某一数量标志值之和即总体标志总量除以总体单位总量，其计算公式为： 　　算术平均数= 　　如果我们发放问卷做一项调查，一个被访问者没有回答其收入，我们采用均值估计的方法代替缺失值，计算平均收入，或用该被访问者所在组的子样本的平均收入代替。例如：整个样本有效问卷340份，其收入总额为442000元，则该总体平均收入为： 　　平均收入=　=1300（元） 　　因此，我们用1300元这个平均收入来替代缺失值。计算和应用算术平均数时要特别注意，分子与分母必须同属一个总体，即分子与分母是一一对应的关系，有一个总体单位必有一个标志值与之相对应，否则就不是平均指标。 　　不过从逻辑上说，用平均值代替缺失值这样做是有问题的，因为被访问者如果回答了该问题的话，其答案可能高于或低于该平均值。 　　（二）用一个统计模型计算出来的数值代替缺失值 　　利用某些统计模型计算出来的比较合理的数值代替缺失值。如回归模型，回归分析就是对具有相关关系的变量之间数量变化的一般关系进行测定，确定一个相关的数学表达式，以便于进行估计或预测的统计方法。回归分析的类型按回归变量的个数不同可以分为一元回归分析和多元回归分析；按回归的形式不同可以分为线性回归分析和非线性回归分析。下面以一元线性回归分析为例加以说明。 　　某产品产量与生产费用情况统计数据见计算表。从表中可以看出，当产量增加时，生产费用随之增加，这两个变量间呈明显的正相关关系，计算相关系数看出，随着产量的增加，生产费用相应增加，并且其分布近似呈直线状态，因此这两个变量呈正线性相关。 　　现在利用某产品产量与生产费用情况统计数据，计算该企业产品产量与生产费用的相关系数，见计算表。 　　计算结果表明，该企业产品产量与总成本之间存在高度正相关关系。 　　一般来说，对于具有线性相关关系的两个变量，可以用一条直线方程来表示它们之间的关系，即： 　　倚　回归方程： 　　上述模型中，Y为回归估计值；a是两条直线的截距，b是两条直线的回归系数。a、b 　　都是待定参数，通常采用最小平方法计算。 　　例如：当产量为12万件时，生产费用yc=47.38+14.7212=224.02（万元） 　　（三）将有缺失值的个案剔除 　　缺失数据是由于被调查者对问题的答案表述含混不清或认识错误未做回答，或者由于访问人员疏漏，未问问题也未做记录，造成数据出现奇异值或缺失。将有缺失的个案整个删除的方法，