基于分层强化学习的任务规划研究综述.docVIP

基于分层强化学习的任务规划研究综述

一、分层强化学习任务规划的核心理论基础

分层强化学习（HierarchicalReinforcementLearning,HRL）的核心思想是将复杂的长序列决策任务拆解为多个不同抽象层级的子任务，通过层级化的价值函数与策略学习机制，缓解传统强化学习在高维状态空间、稀疏奖励场景下的样本效率低、泛化能力差等问题。其理论起源可追溯至20世纪90年代末期，Sutton等人提出的选项框架（OptionsFramework）首次将“temporallyextendedaction（时间延展动作）”的概念引入强化学习体系，将子任务定义为包含初始化集合、内部策略、终止条件三元组的抽象选项，高层策略负责在不同场景下选择合适的选项，低层策略执行具体的原子动作，由此构建了首个可计算的分层决策模型。后续提出的MAXQ价值函数分解方法进一步将任务递归分解为子任务树，每个子任务对应独立的价值函数，通过子任务价值的组合计算全局最优策略，避免了传统单层级强化学习中状态空间维度爆炸的问题。

分层强化学习与任务规划的结合本质上是对人类“高层认知决策-低层动作执行”认知模式的工程化模拟。人类在执行复杂任务时，并不会直接规划每一个肌肉动作，而是先确定“完成任务需要哪些步骤”的高层逻辑，再逐步细化每个步骤的具体执行方式。对应到分层强化学习任务规划体系中，高层规划层负责基于任