Pentest-R1：面向通过两阶段强化学习优化的 自主渗透测试推理.pdfVIP

1

Pentest-R1：面向通过两阶段强化学习优化的

自主渗透测试推理

1,21,21,2111

HeKong,DieHu,JingguoGe,LiangxiongLi,HuiLi,andTongLi

1StateKeyLaboratoryofCyberspaceSecurityDefense,InstituteofInformationEngineering,

ChineseAcademyofSciences

2SchoolofCyberSecurity,UniversityofChineseAcademyofSciences

摘要—自动化渗透测试对于提升网络安全至关重要，然而捉到渗透测试多轮次、随机性和策略复杂性的本质[9],

当前的大语言模型（LLMs）在这一领域面临显著的限制，包括[10],[11]。这种不匹配，加上缺乏大规模、多步骤的真

本较差的错误处理能力、低效的推理能力和无法自主完成复杂的

实世界场景数据集，阻碍了能够进行高级攻击规划和执

译端到端任务。为了解决这些挑战，我们引入了Pentest-R1，这行的真正自主代理的发展。

中是一种通过两阶段强化学习管道优化LLM推理能力的新框架。

1首先，我们构建了一个包含超过500个真实世界多步骤指南的为应对这些挑战，我们引入了Pentest-R1这一新

v数据集，Pentest-R1利用该数据集进行离线强化学习（RL），型框架，通过专门的两阶段强化学习管道来增强和优化

2以奠定基础攻击逻辑。随后，在交互式夺旗（CTF）环境中通

8LLMs的推理能力。第一阶段离线强化学习，通过在超

3过在线RL对LLM进行了微调，在此过程中它直接从环境反过500个来自HackTheBox和VulnHub等平台的真实

7馈中学习，从而发展出强大的错误自我纠正和适应性策略。我

0.们在Cybench和AutoPenBench基准上的广泛实验展示了专家操作流程的新编数据集上训练LLMs，传授基础知

8该框架的有效性。在AutoPenBench上，Pentest-R1实现识。该数据集以独特的“思维-命令-观察”格式结构化，

0

5了24.2%的成功率，超越了大多数最先进的模型，并且仅次于捕捉了专家认知过程、命令执行及其结果的完整序列。

2Gemini2.5Flash排名第二。在Cybench上，它在无引导任第二阶段在线RL中，在交互式夺旗（CTF）环境中对

:

v务中达到了15.0%的成功率，为开源LLM建立了新的最先进

i预训练的LLMs进行微调。在这里，它直接从环境反馈

x水平，并与顶级专有模型的表现相匹配。消融研究证实了两个训

r练阶段的协同作用对其成功至关重要。源代码和数据集公开可在学习，通过试错来精炼其策略，发展出强大的错误自我

a

/KHenryAegis/Pentest-R1中获得。纠正和适应性策略。为了确保高效稳定的训练，该框架

采用了无批评家算法——群组相对策略优化（GRPO）

I.介绍[12]，并结合低秩自适应（LoRA）[13]。我们在具有挑

战性的Cybench[14]和AutoPenBench[15]基准测试中

渗透测试是一种主动且不可或缺的技术，用于识