面向设计一种基于强化学习的云系统能量感知数据复制策略-计算机科学-强化学习-云数据.pdfVIP

Compas’2025:Parallélisme/Architecture/Système

CentreInriadel’universitédeBordeaux-Bordeaux-France,24-27juin2025

面向设计一种基于强化学习的云系统能量感知数据复制

策略

AmirNajjar,RiadMokadem,Jean-MarcPierson

UniversitédeToulouse

InstitutdeRechercheenInformatiquedeToulouse-CampusRangueil-118RoutedeNarbonne

31062Toulouse-France

{amir.najjar,riad.mokadem,jean-marc.pierson}@irit.fr

本

译Abstract

中全球数据量的快速增长产生了对可扩展分布式系统的需求，这些系统能够保持高质量的服务。数据

1复制是一种广泛使用的技术，它提供了容错性、提高了性能并增加了可用性。传统的实现通常依赖

v

9于基于阈值的激活机制，这可能根据工作负载的变化和系统架构而有所不同。系统管理员通常承担

5调整这些阈值的责任。为了解决这一挑战，可以使用强化学习来动态适应工作负载变化和不同的架

4

8构。本文提出了一种新的云系统数据复制策略，该策略采用强化学习自动学习系统特性并适应工作

1

.负载变化。该策略的目标是在优化提供者利润与环境影响之间的权衡的同时提供令人满意的服务质

7

0量。我们介绍了我们的解决方案背后的架构，并通过定义状态、动作和奖励来描述强化学习模型。

5

2Keywords:CloudSystems,DataReplication,ReinforcementLearning,Economic,Energy

:

vConsumption.

i

x

r

a

1.介绍

社交媒体的增长产生了大量的云数据。因此，确保满意的服务质量（QoS）变得至关重要。可以通过

诸如响应时间（RT）、吞吐量、可用性和容错性[1]等各种指标来衡量QoS。通过高效地放置副本，

数据复制可以改善RT、容错性和可用性[8]。

之前提出的数据复制策略通常使用需要系统先验知识和人工干预的阈值[11,2,28]。统计方法已被用

于自动预测这些阈值：Khatua等人[9]使用时间序列，Calheiros等人[6]使用自回归综合移动平均

（ARIMA），而Séguéla等人[27]则使用控制图来定义此类阈值。

机器学习（ML）是一种有前景的技术，可以自动适应系统特性并在没有底层架构或工作负载的先验

知识的情况下调整阈值。这消除了人工干预的需要。通过使用工作负载跟踪和环境状态，一个ML

模型可以被训练来预测数据复制策略所需的阈值。此外，它还可以利用当前资源利用率来预测未来

的系统性能，从而有助于与激活数据复制机制相关的决策。

机器学习已越来越多地通过监督学习[5,23]、无监督学习[22,26]和强化学习[13,30]应用于数据复

制。在这些方法中，强化学习似乎最为合适，因为它可以直接从模拟或真实环境中学习。相比之下，

Compas’2025:Parallélisme/Architecture/Système

CentreInriadel’universitédeBordeaux-Bordeaux-France,24-27juin2025

监督学习依赖于标记的数据集，而无监督学习需要环境中的潜在模式[18]。

当前策略，特别是那些结合机器学习[18]的方法，常常忽视经济方面的重要性，这对于确保云计算

[17]等商业应用的盈利能力至关重要。此外，它们未能充分解决分布式系统[12]对环境的影响。本

文介绍了一种基于强化学习的数据复制策略，该策略在云系统中平衡了提供商盈利与能耗及机器采

购对