24年五一杯数学建模竞赛特等奖数据预处理.pdfVIP

1数据的预处理

1.1样本数据的处理

本研究的主要内容是获取和处理2019年1月9日-2020年1月7日采集的电磁辐射和

声发射数据集。我们使用的数据包括电磁辐射和声发射数据，再次各划分为5类，(A)正常

工作数据；(B)前兆特征数据；(C)干扰信号数据；(D)传感器断线数据；(E)工作面休息数据，

其中，A、B、C类为工作面正常生产时的数据，D类为监测系统不正常时的数据，E类为

停产期间的数据。提取时发现原始数据集存在大量缺失值，同时还发现正负类样本数据量

存在一定的不平衡。因此，本章先对采集的电磁辐射和声发射数据集进行探索，对类别型

特征、数值型特征及其缺失值分析，根据不同的情况采用分箱、特殊插值等方法处理，对

分类变量进行编码，并对数据进行归一化处理，以此提高后续算法求解的速度以及模型的

泛化能力。本章还针对不平衡数据采用SMOTE过采样等处理，优化样本数据结构，采用

逻辑回归算法对原始数据与SMOTE过采样等处理后的数据分别进行分类识别并评估其效

果，选择本文最终的采样数据。

1.1.1数据集特征探索

对数据集中所有维度的类别型特征变量与2019年1月9日-2020年1月7日采集的电

磁辐射和声发射数据，电磁辐射(EMR)的样本量为610932采集数据，声发射(AE)的样本量

为156255采集数据进行分析，探索变量的趋势与分布特征，从而为本文后续的数据预处理

提供思路。考虑特征变量较多，在处理过程中采用重要性指标进行陈述。

（1）电磁辐射(EMR)数据信息探索

如图1所示，在对电磁辐射（EMR）的干扰信号数据进行深入分析后，我们可以发现

一些显著的波动和趋势性特征。

在2019年，电磁辐射干扰信号数据经历了三个不同的阶段：1月至4月及9月至11

月，数据剧烈波动，可能与季节变化、设备使用增加或技术活动增强有关，需进一步监测

分析；6月至9月，数据平稳，表明设备运行和环境条件稳定，但仍需警惕异常波动；11月

后，数据出现聚集现象，可能是新增施工项目或设备干扰所致，影响信号处理准确性。深

入分析这些数据有助于有效管理干扰，确保信号处理的准确性和决策的可靠性。

图1：电磁辐射(EMR)的干扰信号数据信息探索

之后对电磁辐射(EMR)数据类型所对应的A、B、C类以及D或者E类(D/E)数据进行

对比分析，结果如图2所示。在对煤矿安全形势的持续监测中，电磁辐射（EMR）数据分

析扮演着至关重要的角色。通过图3的观察，电磁辐射干扰信号数据（C）波动性大，可能

受设备故障、环境变化或作业活动影响，需特别关注，以免掩盖重要信号，影响煤矿安全

1

评估。

图2：电磁辐射(EMR)数据类型对比

正常工作数据（A）和前兆特征数据（B）稳定性高，为监测煤矿安全提供可靠基准，

有助于识别异常行为。传感器断线数据（D）和工作面休息数据（E）有集聚趋势，可能暴

露安全监测盲点，需技术改进和操作调整，以持续提升煤矿安全。可有效预测应对煤矿安

全挑战，为持续改善安全形势提供数据支持。

（2）声发射(AE)数据信息探索

如图3所示，通过观察声发射(AE)的干扰信号趋势发现，在2019年的前三个月，即1

月至3月期间，通过细致的观察和分析声发射(AE)的干扰信号趋势，我们可以发现一个有

趣的现象：该时间段内收集到的声发射数据表现出了一种相对平稳的特性，波动并不显著。

在2019年3月至4月，声发射(AE)干扰信号数据保持稳定，表明声发射活动未出现剧

烈变化或变化未达到明显波动的程度。但3月后，AE数据波动增加，却形成新的平稳趋势，

意味着活动水平虽波动但未极端，显示声发射活动正常化，回归预期范围。

图3：声发射(AE)的干扰信号数据信息探索

之后对声发射(AE)数据类型进行对比分析，结果如图4所示。在对图5中的声发射(AE)

数据进行细致的类型对比分析后，我们观察到了一些显著的特征和趋势。首先，干扰信号

数据（C）表现出一种单一且连续的变化趋势，这可能意味着干扰源具有某种持续性或稳定