面向强化学习的可解释性研究综述.pdfVIP

第47卷第8期计算机学报Vol.47No.8

2024年8月CHINESEJOURNALOFCOMPUTERSAug.2024

面向强化学习的可解释性研究综述

1）2）1）3）1）

曹宏业刘潇董绍康杨尚东霍静

1）1）

李文斌高阳

1）

（计算机软件新技术全国重点实验室（南京大学）南京210023）

2）

（湘潭大学自动化与电子信息学院湖南湘潭411105）

3）

（南京邮电大学计算机学院南京210023）

摘要强化学习作为机器学习的一种范式，因其强大的策略试错学习能力，受到关注.随着深度学习的融入，强

化学习方法在许多复杂的控制任务中取得了巨大成功.然而，深度强化学习网络作为黑盒模型，其缺乏可解释性所

带来的不安全、不可控及难理解等问题限制了强化学习在诸如自动驾驶、智慧医疗等关键领域中的发展.为了解决

这一问题，科研人员开展了对强化学习可解释性的研究.然而，这些研究开展相对较晚，且缺少针对多智能体强化

学习可解释性方法的系统性总结，同时，可解释性的定义存在人为主观性，导致系统性面向强化学习过程的可解释

性研究较为困难.本文对当前强化学习的可解释性研究工作进行了全面的整理与总结.首先，对强化学习的可解释

性进行定义并总结了相关评估方法.随后，基于马尔可夫决策过程，划分了行为级解释、特征级解释、奖励级解释及

策略级解释四个类别.此外，在每个类别中，分析了单智能体及多智能体的策略解释方法，并特别关注可解释性研

究中的人为因素，描述了人机交互式的解释方法.最后，对当前强化学习可解释性研究面临的挑战以及未来的研究

方向进行总结与展望.

关键词强化学习；可解释性；机器学习；人工智能；马尔可夫决策过程

中图法分类号TP18DOI号10.11897/SP.J.1016.2024.01853

ASurveyofInterpretabilityResearchMethodsforReinforcementLearning

1)2)1)3)1)

CAOHong-YeLIUXiaoDONGShao-KangYANGShang-DongHUOJing

1)