基于成本敏感的强化学习决策研究综述.docVIP

基于成本敏感的强化学习决策研究综述

一、成本敏感强化学习的核心概念与问题建模

强化学习的经典范式以累积奖励最大化为核心目标，默认不同决策失误的代价具有同一性，这一假设在医疗诊断、自动驾驶、工业控制等风险敏感场景中存在明显局限性。成本敏感强化学习（Cost-sensitiveReinforcementLearning,CSRL）通过将决策成本纳入价值评估体系，打破了传统奖励函数的对称性约束，实现了对不同类型错误代价的差异化量化。其核心问题建模可以表示为一个四元组$\langleS,A,P,C,R\rangle$，其中$S$为状态空间，$A$为动作空间，$P$为状态转移概率，$C(s,a)$表示在状态$s$下执行动作$a$产生的即时成本，$R(s,a)$为传统奖励函数，最终优化目标转化为最小化累积成本与最大化累积奖励的加权平衡。

与传统强化学习相比，成本敏感强化学习的本质区别在于价值函数的重构。经典Q学习的价值函数仅反映动作的长期收益，而CSRL的价值函数需要同时编码收益期望与成本风险：$V(s)=\mathbb{E}\left[\sum_{t=0}^\infty\gamma^t(R(s_t,a_t)-\lambdaC(s_t,a_t))\right]$，其中$\lambda$为成本权重系数，用于调节算法对风险的容忍度。当$\lambda=0$时，模型退