基于随机森林模型的分类数据缺失值插补.pdfVIP

第29卷第 9期 统 计 与 信 息 论 坛 2014年 9月 V01．29 No．9 Statistics InformationForum Sep．，2014 【统计调查与分析】 基于随机森林模型的分类数据缺失值插补 孟 杰 ，李春林 (1．天津财经大学 中国经济统计研究中心，天津 300222； 2．河北经贸大学 数学与统计学院，河北 石家庄 050061) 摘要：缺失数据是影响调查问卷数据质量的重要因素，对调查问卷中的缺失值进行插补可以显著提高调 查数据的质量。调查问卷的数据类型多以分类型数据为主，数据挖掘技术中的分类算法是处理属性分类问题 的常用方法，随机森林模型是众多分类算法中精度较高的方法之一。将随机森林模型引入调查问卷缺失数据 的插补研究中，提出了基于随机森林模型的分类数据缺失值插补方法，并根据不同的缺失模式探讨了相应的 插补步骤。通过与其它方法的实证模拟比较，表明随机森林插补法得到的插补值准确度更优、可信度更高。 关键词：缺失值插补；调查问卷；分类数据；随机森林 ；数据挖掘 中图分类号：F812 文献标志码：A 文章编号：1OO7—3116(2014)09--0086--05 数据，因此，研究分类数据的缺失值插补对改善调查 一 、 引 言 数据质量具有较大的理论价值与实践意义。分类数 缺失数据是影响调查问卷数据质量的一个主要 据的特点与连续型数据特点不尽相同，因此常用的 问题，国内外已有诸多学者从问卷的事前预防和事 插补方法并不完全适用于分类型数据。多重插补法 后补救两个方面进行了系统的研究。剔除有缺失的 在插补分类型数据时，其m的个数与分类的类数有 观测单元会造成信息的损失，影响后续的数据分析， 关联，而最大似然方法和 EM迭代方法则对数据的 因此，缺失数据的插补是处理缺失数据的常用方法 分布有很强的依赖性，但分类数据的分布不像连续 之一。现有的缺失数据插补方法研究可以归纳为两 型数据的分布那样便于分析[4]a-is[引。目前常用的 类，即单值插补和多重插补。单值插补主要包括均 分类数据缺失值插补方法还有逻辑回归插补、关联 值插补法、热卡插补法、回归插补法和随机插补法 规则插补和决策树插补。逻辑回归法在处理多变量 等。单值插补法的不足主要有两点：第一，有些方法 和多属性时的分类效果不甚理想。关联规则插补法 从根本上改变了数据的原始分布，造成抽样误差，如 是基于数据挖掘技术的一种插补方法，其优点是快 均值插补和回归插补；第二，单值插补法不能很好的 速、不用考虑分布等问题，缺点是数据量较小时插补 体现出缺失值的不确定性[1]。多重插补法是’Rubin 结果不可靠。决策树插补法的主要思想是用完全数 提出的一种缺失数据插补方法，它有效克服了单值 据作为训练样本以建立树模型，再用得到的模型预 插补法的一些缺陷，目前已被广泛应用。多重插补 测缺失数据，其缺点是稳健性不足。 法分为三个步骤：首先对缺失数据填补m(m1)个 基于以上讨论和分析，本文引入数据挖掘分类 值，这样就构成m个数据集；接着对 个数据集用 算法中的随机森林模型对分类数据缺失值问题进行 相同的方法进行分析；最后将分析结果合并得到可 插补研究。这种方法可看作是决策树插补法的一 靠的插补值[2]1 [引。 种，但它有效克服了单值插补法和决策树插补的不 调查