机器学习应用系列：T2RL：端到端深度强化学习因子挖掘与组合优化框架-.docxVIP

2026年03月31日

证券ST

证券

STSECURITIES

机器学习应用系列

T2RL：端到端深度强化学习因子挖掘与组合优化框架

摘要

l本文构建了一种“预测与决策相耦合”的两阶段量化选股框架T2RL（Two-stageTransformerReinforcementLearningFramework），旨在解决传统深度学习模型仅聚焦于收益率预测而难以实现组合全局优化的问题。该框架将Transformer模型与强化学习算法有机结合，第一阶段通过深度学习挖掘具备投资信号的因子，第二阶段利用强化学习进行动态权重优化，实现从个股预测到投资组合构建的完整闭环，提升策略的收益能力和风险控制水平。

l阶段一：深度学习因子挖掘。第一阶段构建了融合Transformer与Actor-Critic机制的因子挖掘模型TFAC。该模型利用Transformer的自注意力机制提取量价时序数据中的深度表征，并通过AC框架引入方向准确奖励函数，使模型同样注重收益符号的正确性。回测显示TFAC因子RankIC为0.1119，多头组合年化收益率33.61%，优于传统Transformer模型，且大多数年份跑赢基准。

l阶段二：强化学习组合权重优化。第二阶段构建了基于Transformer的SoftActor-Critic