一种基于MissFroest的并行插补算法.docxVIP

?

?

一种基于MissFroest的并行插补算法

?

?

华南马春萍朱彦霞刘惠萍曹彦王飞张利鹏

摘要：本研究针对大数据分析预处理的缺失数据值填补问题及解决方案进行了探讨，提出了一种用于缺失值填充的插补算法。该算法在MissForest算法基础上融合K折交叉验证的思想，通过在不同缺失率下的插补试验与分析表明：该算法的填补误差小于传统的CNN插补算法，运行时间复杂度优于基础的MissForest算法，具有较强的泛化能力。

关键词：数据缺失;机器学习;缺失值插补;隨机森林

：TP399??文献标志码：A??：1003-5168（2022）3-0018-04

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.03.004

AParallelInterpolationAlgorithmBasedonMissFroest

HUANanMAChunpingZHUYanxiaLIUHuipingCAOYanWANGFei

ZHANGLipeng

（1.ChinaRadioandTelevisionHenanNetworkCo.，Ltd.，Zhengzhou450000，China;2.TheFirstAffiliatedHospitalof?HenanUniversityofCM，Zhengzhou450000，China;3.HenanGeneralHospital，Zhengzhou450002，China;4.CollegeofInformationEngineering?XuchangUniversity，Xuchang461000，China;5.HenanUniversityofAnimalHusbandryandEconomy，Zhengzhou450000，China）

Abstract：Thisstudydiscussestheproblemofmissingdatavaluefillinginthepreprocessingofbigdataanalysisanditssolutions，andproposesaninterpolationalgorithmformissingvaluefilling.ThisalgorithmcombinestheideaofK-foldcross-validationonthebasisoftheMissForestalgorithm.InterpolationexperimentsandanalysisunderdifferentmissingratesshowthatthealgorithmhaslessfillingerrorthanthetraditionalCNNinterpolationalgorithm，runningtimecomplexityisbetterthanthebasicMissForestalgorithm，andhasastronggeneralizationability.

Keywords：missingdata;machinelearning;imputationofmissingvalues;randomforest

0引言

随着信息技术、互联网技术、物联网技术的迅速发展，人们已经进入了高数字化“大数据”时代，大数据的存储、分析及有效利用成为各行各业广泛关注的焦点。数据的采集与处理过程是数据分析的前置过程，也影响着数据分析的质量与效率。由于采集设备故障，导致调查问卷的选择性认知程度、数据录入过程存在错误，部分数据损坏或丢失等采集过程不可控因素较多，数据的“大”与缺失并存，形成了大数据中“天然的矛盾体”，数据的缺失对数据的分析会产生样本复杂性增加、预测评估偏差、结论导向偏离等不同程度的影响[1]。如何有效处理缺失数据成为数据分析中的重点问题与挑战。

本研究梳理了数据缺失的机制、处理方法等国内外相关研究，在随机缺失机制下，提出了一种基于MissForest的并行缺失值插补方法，并通过模拟试验进行了分析及效果评价，为缺失数据插补提供了一种新方法。

1国内外研究现状

数据的缺失机制主要分为完全随机缺失（MCAR）、随机缺失（MAR）、完全非随机缺失（MANR），处理缺失的处理方法主要有删除和插补两种。删除数据会造成分析数据信息量的丢失以及分析的不完整，对研究数据的采集工作也是一种巨大的浪费[2]。