基于ADS-B数据集的机器学习模型质量测评研究.pdfVIP

基于ADS-B数据集的机器学习模型质量测评研究

摘要

过去十年，随着无线通信技术的快速发展，电磁信号发射设备的类别变得繁多且复

杂，传统的电磁信号识别技术已经无法满足态势感知的需求。而机器学习技术具有识别

率高的优势，在电磁信号识别领域得到了广泛的应用。但是在应用的过程中也面对着鲁

棒性和安全性的威胁，缺少对模型质量进行测评的相关技术研究。

本文基于ADS-B信号数据集，对传统机器学习模型和深度学习模型质量测评技术

展开了研究，主要研究内容如下：

首先，本文对要测评的传统机器学习算法进行研究，介绍了本文测评所需的数据集

的来源及采集方式。从原理上阐述了传统机器学习算法对数据进行建模的原理，探究了

在不同信噪比下、不同特征维度下和不同信号类别数量下的模型性能。实验发现传统的

机器学习算法无法有效对辐射源个体信号识别，且对类别数量较为敏感。

其次，本文训练了十种不同的深度学习模型，对辐射源个体信号进行识别。然后分

别从分类性能、鲁棒性能和安全性能等角度对模型性能展开了测评。其中分类性能指标

包含准确率、召回率等指标。在载波频偏和多径信道损伤等条件下对模型的鲁棒性能展

开了研究，并给出了在不同指标下各模型的表现对比。最后在对抗样本攻击下对模型的

安全性能展开了测评，给出了在白盒与黑盒对抗样本攻击下不同模型的性能表现。测评

为指标评价体系的构建和模型质量的评价提供了重要的参考。

最后，本文基于上述测评所得到的数据，根据评价指标体系构建的系统性、典型性、

科学性和有效性原则，首先建立了模型评价的初始指标体系。接下来通过对指标进行定

性分析筛选，最终建立了一套科学完善的深度学习模型质量评价指标体系。依据该体系，

对指标之间的关系进行了灰色关联分析，对指标的重要性进行排序，然后结合层次分析

法确定指标的权重。在上述工作的基础上，构建隶属函数和模糊关系矩阵，采用综合模

糊评估方法对深度学习模型的质量给出综合评价。

本文提出了一套完整的深度学习模型质量测评指标体系，以及一种新的指标权重分

配方法，首次将模型综合评估法引入到深度学习模型质量测评领域，弥补了电磁信号识

别领域深度学习模型质量测评的空白与不足。

关键词：信号识别；机器学习；深度学习；模糊评估

基于ADS-B数据集的机器学习模型质量测评研究

ABSTRACT

Inthepastdecade,withtherapiddevelopmentofwirelesscommunicationtechnology,the

categoriesofelectromagneticsignaltransmittingdeviceshavebecomediverseandcomplex,

andtraditionalelectromagneticsignalrecognitiontechnologieshavebeenunabletomeetthe

needsofsituationalawareness.Machinelearningtechnologyhastheadvantageofhigh

recognitionrateandhasbeenwidelyusedinthefieldofelectromagneticsignalrecognition.

However,intheprocessofapplication,therearealsothreatstorobustnessandsecurity,and

thereisalackofrelevanttechnicalresearchonevaluatingmodelquality.

Thisarticleconductsresearchontraditionalmachinelearningmodelsanddeeplearning

modelqualityevaluationtechniquesbasedontheADS-Bsignaldataset.Themainrese