面向深度强化学习的鲁棒性增强方法.pdfVIP

小型微型计算机系统2024年7月第7期

DOI:10.20009/j.cnki.21-1106/TP.2022-0737

JournalofChineseComputerSystemsVol.45No.72024

面向深度强化学习的鲁棒性增强方法

葛杰,郑海斌’,陈晋音1,2

1（浙江工业大学信息工程学院，杭州310023）

2（浙江工业大学网络空间安全研究院，杭州310023）

E-mailchenjinyin@zjut.edu.cn

摘要：深度强化学习(DeepReinforcementLearning，DRL）结合了深度学习的感知能力和强化学习的决策能力，被应用于许多

领域.然而，一旦攻击者窃取了DRL数据，就能干扰状态、奖励及动作或环境，从而影响智能体的决策.且已有研究表明DRL模

型极易受到恶意攻击，攻击者根据状态及动作空间信息，训练等价模型实现黑盒攻击.为了实现DRL数据隐私保护及模型鲁棒

性增强，本文提出一种基于垂直联邦的DRL模型（VerticalFederatedbasedDRL，VF-DRL）.VF-DRL搭建多个客户端并保证数

据特征不重叠.同时服务器端上传各个客户端输出的隐层特征以保证数据隐私，进一步，本文对比不同基线算法，通过大量实验

评估了VF-DRL模型的性能.假设存在一个恶意客户端执行对抗攻击的情况下，使用多种对抗攻击方法验证了VF-DRL模型的

鲁棒性.同时在高维及较低维环境中验证VF-DRL模型的鲁棒性,并进一步分析影响其鲁棒性的因素。

关键词：深度强化学习；垂直联邦学习；隐私保护；对抗攻击；鲁棒性增强

中图分类号：TP183文献标识码：A文章编号：1000-1220(2024)07-1552-09

RobustnessEnhancementMethodforDeepReinforcementLearning

GEJie,ZHENGHaibin’,CHENJinyin-?

1(TheCollegeofInformationEngineering,ZhejiangUniversityofTechnology,Hangzhou310023,China)

2(InstituteofCyberspaceSecurity,ZhejiangUniversityofTechnology,Hangzhou310023,China)

Abstract:DeepReinforcementLearning(DRL)combinestheperceptionabilityofdeeplearningwiththedecision-makingabilityofre-

inforcementlearningandhasbeenappliedinmanyfields.However,ifanattackerstealsDRLdata,interferencewithstate,reward,and

actionorenvironmentcanbeeasilyimplementedtoaffectagentdecisions.Moreover,previousstudieshaveshownthatDRLmodels

arevulnerabletomaliciousattacks,soequivalentmodelscanbetrainedtoachieveblackboxattacksaccordingtostateandactionspace

information.TorealizeDRLdataprotectionandmodelrobustnessenhancement,thispaperproposesaDRLmodelbasedonVertical

federation.Consideringtheprivacyofdata,arobustD