基于主动容错机制的磁盘可靠性方法研究.pdfVIP

摘要

摘要

在云计算与大数据时代，磁盘作为数据中心的核心存储设备，其可靠性对于

数据的安全至关重要。尽管现代磁盘具有高可靠性，但故障率仍在逐年上升，因

此需要采取有效的容错机制来预防数据损失。传统的被动容错方法，如磁盘冗余

和擦洗，只能在数据损坏后恢复数据，而主动容错则通过预测数据损坏并提前维

护来减少损失。当前，一些研究者利用机器学习方法来指导磁盘的维护，将主动

故障预测应用于实际环境。

磁盘健康评估领域，现有机器方法通常将磁盘健康与时间建立了绝对的时序

性关系，忽略了磁盘属性在老化过程中的变化与磁盘健康之间的关系。本文探

讨了自我监测、分析和报告技术（Self-MonitoringAnalysisandReportTechnology，

SMART）采集的数据变化同磁盘健康之间的关系，提出了一种基于N维相似度度

量的方法NW-LSTM，充分融合了磁盘数据中的特征变化和时间特征信息。通过

假设检验排除了由紧急情况引起的异常数据，并采用双向长短期记忆网络以利用

未来信息。为解决数据不平衡问题，设计了加权分类交叉熵损失函数以强调正样

本损失。在Backblaze和Baidu数据集上的实验表明，本文的方法不仅优于线性度

量方法，还有效缓解了数据不平衡造成的准确错觉，将少样本的准确性从76.79%

提高到90.58%。

磁盘策略调整领域，现有容错方法通常依赖于特定的监控指标，并将磁盘冗

余和擦洗视为两个独立的部分，忽略了它们之间的协同作用。本文针对不同磁盘

品牌型号进行主动容错机制的策略调整，训练基于品牌数据的健康预测模型，计

算了不同品牌的整体健康水平。同时，将磁盘冗余和擦洗策略纳入了统一的可靠

性调整框架中，设计了MT-DQN算法引入长短期记忆网络来保存过往的训练信息，

加入阈值筛选机制优化经验回放策略。实验验证了MT-DQN在动态调整磁盘冗余

和擦洗策略上的有效性，在满足高数据可靠性的约束条件下，达成低擦洗成本的

目标。当磁盘处于健康状态时，最多可以节省16.7%的存储空间，当磁盘出现恶

化时，最多可以提高75%的可靠性。

关键词：磁盘故障，SMART属性，健康状态评估，强化学习

I

ABSTRACT

ABSTRACT

Intheeraofcloudcomputingandbigdata,disksserveasthecorestoragedevices

indatacenters,andtheirreliabilityiscrucialfordatasecurity.Despitemoderndisks

beinghighlyreliable,theirfailureratescontinuetoriseovertime.Therefore,effective

fault-tolerantmechanismsarenecessarytopreventdataloss.Traditionalpassivefault-

tolerancemethods,suchasdiskredundancyandscrubbing,canonlyrecoverdataafter

damageoccurs.Incontrast,proactivefaulttoleranceaimstopredictfailuresandperform

maintenanceinadvancetominimizelosses.Someresearchersnowutilizemachinelearn-

ingtechniquestoguidediskmaintenance,applyingproactivefailurepredictioninpractical

environments.

Inthefieldofdiskhealthassessment,existingmachinelearningmethodsusuallyes-

tablishanabsolutesequentialrelatio