24年数维杯数学建模竞赛一等奖-数据的预处理.pdfVIP

1数据的预处理

1.1样本数据的处理

本研究的主要内容是获取和处理生物质和煤共热解实验数据集。我们使用的数据包括

比较棉杆(CS)热解、神木煤(SM)热解、棉杆/神木煤(CS/SM)共热解和微晶纤维素/神木煤共

热解产生的正己烷可溶物(HEX)组分变化，其中共热解实验以5/100，10/100，20/100，

30/100，50/100为混合比例进行固定热解实验等信息。提取时发现原始数据集存在大量缺

失值。因此，本章先对生物质和煤共热解数据集进行探索，对类别型特征、数值型特征及

其缺失值分析，根据不同的情况采用分箱、特殊插值等方法处理，对回归变量进行编码，

并对数据进行归一化处理，以此提高后续算法求解的速度以及模型的泛化能力。

1.1.1描述性统计

附件1清单给出了实验数据包括时间、试样、配比、样品g、焦油(Char)g、水

(Water)mL、正己烷不溶物（INS)g、焦油产率、水产率、焦渣产率、正己烷可溶物产率，

11项项指标类型，每条生产线有136项实验记录。为了便于比较和研究，所有数据都进行

了标准化处理。为清晰反映数据的众多关键特征，采用描述性统计呈现其结果如表2所示。

表1：生产线运行记录数据描述性统计

变量名最大值最小值平均值标准差中位数方差峰度偏度变异系数（CV）

样品g12.0555.1258.7591.5648.6412.446-0.439-0.410.179

焦油(Char)g2.1390.3611.0520.3230.9930.1041.4180.7480.307

水(Water)mL1.90.591.0430.2960.970.0881.1351.2130.284

正己烷不溶物（INS)g0.8810.0250.3040.1790.2990.0321.7791.1120.588

焦油产率0.3960.0360.1240.0490.1190.00215.9743.1430.393

水产率0.2760.0580.1230.0410.1120.0023.5521.5930.338

焦渣产率0.7590.2780.640.10.660.015.31-2.1460.157

正己烷可溶物产率0.8890.0330.10.1050.0890.01153.7557.1251.049

基于生产线运行记录数据变异系数（CV）均大于0.15，当前数据中可能存在异常，

为此本文选择对数据集进行特征探索，这有助于确保研究的客观真实性。通过算法构建热

解产物产率预测模型，以提高对生产效率的评估和理解。

1.1.2缺失值探索

经过对附件1-2清单数据统计，发现共计3类特征存在缺失值。原始数据集中缺失值

比例大于1的特征如下表3所示。

表2：实验数据缺失统计

数据编码缺失数量

正己烷不溶物（INS)g73

正己烷可溶物产率53

附件2数据58

在表2实验数据缺失统计中，考虑到实验数据缺失为“表示未检测到该成分”，本文

对附件2缺失的成分数据中缺失值统一用4.82%填充，其合理性体现在两方面：

1

[3]

其一，查阅文献发现，实验数据的缺失(或零值)通常可能由实验仪器测量下限值导

致。比如对于含量为0.01%的某成分，可能因为仪器无法检出而被视作不含有改成分。考

察本数据集，发现