一种基于自编码器的无监督漂移检测算法.pdfVIP

总第340期河北冶金TotalNo.340

2024年第4期HEBEIMETALLURGY2024,Number4

一种基于自编码器的无监督漂移检测算法

魏晓飞，李飞，李素芳，高靖宇？

（1.河钢数字技术股份有限公司，河北西安710000)

比石家庄050000；2.西安电子科技大学，陕西

摘要：概念漂移是指现实世界中数据会随时间发生难以预见的变化，主要发生在机器学习任务中，导致

预测模型的退化。为了降低概念漂移的影响，相关研究提出了一些漂移检测方法，但目前大部分方法都

需要依赖真实标签来完成漂移检测，这在真实应用中很难得到保证。因此，提出了一种基于变分自编码

器的无监督漂移检测算法，通过变分自编码器将计算数据分布差异的任务转换成对于重构损失的分布

差异，有效降低了计算过程当中的计算开销，并且在保证检测效果的前提下，进一步降低了误检率。将

之与当前的主流算法进行了对比实验，发现针对标准数据集，本算法在keystroke数据集的检测数高达

3.9,同时在两个标准数据集上的误检数均为0，同时针对真实数据集，本算法使下游模型的准确率分别

达到了82.8%和93.1%。用该算法对一个钢厂实际空气质量预测数据集进行测算，发现任务模型经过

18次更新得到最小的均方根误差16.72，整体效果最好。

关键词：漂移检测；自编码器；假设检验；机器学习

中图分类号：TP183文献标志码：A文章编号：1006-5008（2024)04-0029-05

doi:10.13630/ki.13-1172.2024.0406

ANUNSUPERVISEDDRIFTDETECTION

ALGORITHMBASEDCONAUTOENCODER

WeiXiaofei,LiFei,LiSufang,GaoJingyu

(1.HBISDigitalTechnologyCo.,Ltd.,Shijiazhuang050000,Hebei;2XianUniversityofElectronic

ScienceandTechnology,Xian710000,Shanxi)

Abstract:Conceptdriftreferstotheunpredictablechangesthatoccurovertimeinreal-worlddata,mainlyin

machinelearningtasks,leadingtothedegradationofpredictivemodels.Inordertoreducetheimpactof

conceptdrift,relevantresearchhasproposedsomedriftdetectionmethods,butcurrentlymostmethodsrely

onreallabelstocompletedriftdetection,whichisdifficulttoguaranteeinrealapplications.Therefore,an

unsuperviseddriftdetectionalgorithm