机器学习应用系列：T2RL：端到端深度强化学习因子挖掘与组合优化框架-.pdf

2026[Table_ReportInfo]年03月31日

•金融工程专题报告

机器学习应用系列

T2RL：端到端深度强化学习因子挖掘与组合优化框架

摘要

[Table_Summary]本文构建了一种“预测与决策相耦合”的两阶段量化选股框架T2RL（Two-stage

[Table_Author]

TransformerReinforcementLearningFramework），旨在解决传统深度学习模

型仅聚焦于收益率预测而难以实现组合全局优化的问题。该框架将

Transformer模型与强化学习算法有机结合，第一阶段通过深度学习挖掘具备

投资信号的因子，第二阶段利用强化学习进行动态权重优化，实现从个股预测

到投资组合构建的完整闭环，提升策略的收益能力和风险控制水平。

阶段一：深度学习因子挖掘。第一阶段构建了融合Transformer与Actor-Critic

机制的因子挖掘模型TFAC。该模型利用Transformer的自注意力机制提取量

价时序数据中的深度表征，并通过AC框架引入方向准确奖励函数，使模型同

样注重收益符号的正确性。回测显示TFAC因子RankIC