结合动态缓冲池和时间递减约束的离线到在线强化学习.pdfVIP

计算机系统应用

ISSN

1003-3254,

CODEN

CSAOBNE-mail:

csa@

2025,34(5):14−23

[doi:

10.15888/ki.csa.009845]

[CSTR:

32024.14.csa.009845]

©中国科学院软件研究所版权所有.Tel:

+86-10

结合动态缓冲池和时间递减约束的离线到在线

强化学习①

1,21,21,2

闫雷鸣,

朱永昕,

刘健

1(南京信息工程大学

数字取证教育部工程研究中心,

南京

210044)

2(南京信息工程大学

计算机、网络空间安全学院,

南京

210044)

通信作者:

闫雷鸣,

E-mail:

yan_leiming@163.com

摘要:

离线到在线强化学习中,

虽然智能体能够通过预先收集的离线数据进行初步策略学习,

但在线微调阶段,

早

期过程常常表现出不稳定性,

且微调结束后,

性能提升幅度较小.

针对这一问题,

提出了两种关键设计:

1)模拟退火

的动态离线-在线缓冲池;

2)模拟退火的行为约束衰减.

第1种设计在训练过程中利用模拟退火思想动态选择离线

数据或者在线交互经验,

获得优化的更新策略,

动态平衡在线训练的稳定性和微调性能;

第2种设计通过带降温机

制的行为克隆约束,

改善微调早期使用在线经验更新导致的性能突降,

在微调后期逐渐放松约束,

促进模型性能提

升.

实验结果表明,

所提出的结合动态缓冲池和时间递减约束的离线到在线强化学习(dynamic

replay

buffer

and

time

decaying

constraints,

DRB-TDC)算法在Halfcheetah、Hopper、Walker2d这3个经典MuJoCo测试任务中,

在

线微调训练后性能分别提升45%、65%、21%,

所有任务的平均归一化得分比最优基线算法提升10%.

关键词:

深度强化学习;

离线到在线强化学习;

模拟退火;

动态缓冲池;

行为克隆约束

引用格式:

闫雷鸣,朱永昕,刘健.结合动态缓冲池和时间递减约束的离线到在线强化学习.计算机系统应用,2025,34(5):14–23.

.

cn/1003-3254/9845.html

OfflinetoOnlineReinforcementLearningCombiningDynamicReplayBufferandTime

DecayingConstraint

1,21,21,2

YAN

Lei-Ming,

ZHU

Yong-Xin,

LIU

Jian

1(Engineering

Research

Center

of

Digital

Forensics

Ministry

of

Education,

Nanjing

University

of

Information

Science

Technology,

Nanjing

210044,

China)

2(School

of

Computer

Science

and

Cyber

Science

and

Engineering,

Nanjing

University

of

Information

Science

Technology,

Nanjing

210044,

China)

Abstract:

In

offline-to-online

reinforcement

learning,

though

the

agent

can

leverage

pre-collected

offline

data

for

initial

policy

learning,

the

online

fine-tuning

phase

often

exhibits

instability

in

the

early

stages,

and

the

performance

improv