面向概念漂移的磁盘故障动态集成预测方法.pdfVIP

小型微型计算机系统2025年5月第5期

DOI:10.20009/ki.21-1106/TP.2024-0045

JournalofChineseComputerSystemsVol.46No.52025

面向概念漂移的磁盘故障动态集成预测方法

丁建立，梁烨文，李静

（中国民航大学计算机科学与技术学院，天津300300）

E-mail:yemin199@163.com

摘要：在大规模数据中心中，磁盘日志通常随着时间的推移不断从磁盘生成，磁盘日志数据的分布会随着时间的推移发生不

可预测的变化，产生概念漂移.然而当前磁盘故障预测方法大多是离线训练的，预测性能会随着时间的流逝而逐渐降低，无法对

数据分布的变化做出反映.针对这一问题，提出了一种面向概念漂移的磁盘故障动态集成预测方法AIDF，该方法从数据分析到

磁盘故障预测整个环节都是动态进行的，是一个完整的自动化磁盘故障预测方法。首先，提出了AIDF总体架构.其次，对磁盘

故障动态集成预测模型进行构建.包括以下3个方面：对磁盘数据流进行实时数据分析；根据磁盘数据流中存在的概念漂移类

型，改进了基学习器的概念漂移检测过程，并基于磁盘故障预测性能为基学习器分配动态权重，建立集成学习模型；为了解决磁

盘数据流中特征选择更新问题，提出一种基于概念漂移的动态特征更新与模型再训练算法，当磁盘数据流出现概念漂移并且所

选择的最优特征集发生变化时，使用近期窗口中的数据再训练基学习器，实验结果表明，AIDF能够很好地应对磁盘故障预测

模型老化的问题，长期保持95%以上的故障检测率，并且适用于实际动态应用环境.

关键词：磁盘故障；概念漂移；集成学习；动态预测；增量学习

中图分类号：TP333文献标识码：A文章编号：1000-1220(2025)05-1105-07

DynamicEnsemblePredictionMethodforDiskFailureofConceptDrift

DINGJianli,LIANGYewen,LIJing

(SchoolofComputerScienceandTechnology,CivilAviationUniversityofChina,Tianjin300300,China)

Abstract:Inlargescaledatacenters,disklogsareoftencontinuouslygeneratedfromthediskovertime,andthedistributionofdisklog

dataundergoesunpredictablechangesovertime,whichleadstoconceptdrift.However,mostcurrentdiskfailurepredictionmethods

aretrainedofflineandthepredictionperformancegraduallydecreasesovertime,makingitdifficulttoprovidefeedbackonchangesin

datadistribution,AdynamicensemblepredictionmethodfordiskfailureofconceptdriftcalledAIDF,isproposedtoaddressthisis-

sue.Thismethod,whichdynamicallyperformstheentireprocessfromdataanalysistofailureprediction,isacompleteautomateddisk

failurepredictionmethod.Tobeginwith,anoverallarchitectureofAIDFisproposed.Next,constructadynamicensembleprediction