基于状态-动作空间分解的强化学习在复杂多任务场景中的应用研究综述.docVIP

基于状态-动作空间分解的强化学习在复杂多任务场景中的应用研究综述

一、状态-动作空间分解的基础理论框架

强化学习的核心挑战在于如何在高维、连续的状态与动作空间中实现高效决策，而状态-动作空间分解的本质是通过对复杂决策空间的结构化拆分，将原本耦合的决策问题转化为若干低维度、低耦合的子问题，从而降低求解难度。传统强化学习算法在处理维度超过100的状态空间时，样本效率通常会呈现指数级下降，这一现象被称为“维度灾难”，而空间分解技术正是应对这一问题的关键思路。

1.1空间分解的核心数学原理

状态-动作空间分解的数学基础可以追溯到马尔可夫决策过程（MDP）的因子化表示。对于一个标准MDP元组$(S,A,P,R,\gamma)$，其中$S$为状态空间，$A$为动作空间，$P$为状态转移概率，$R$为奖励函数，$\gamma$为折扣因子。当状态空间$S$可以表示为$n$个独立因子的笛卡尔积$S=S_1\timesS_2\times\dots\timesS_n$，且每个状态因子$s_i\inS_i$的转移仅依赖于部分其他因子和动作分量时，我们可以通过图模型（如动态贝叶斯网络）来描述这种依赖关系，从而实现状态空间的因子化分解。

动作空间的分解则基于任务的功能模块化假设。对于复杂多任务场景中的动作集合$A$，如果存在一组动作子集${A_1,A_2,\dots,A_m