“学海拾珠”系列之二百三十：“知识”嵌入型深度强化学习在多元资产配置中的应用-250402-华安证券-21页.pdf

五

[Table_StockNameRptType]

金融工程

专题报告

“知识”嵌入型深度强化学习在多元资产配置中的应用

——“学海拾珠”系列之二百三十

报告日期：2025-04-02主要观点：

[Table_RptDate]

[Table_Summary]

[Table_Author]本篇是“学海拾珠”系列第二百三十篇，过往强化学习模型通常从

分析师：严佳炜

执业证书号：S0010520070001随机初始化的权重开始训练，并且对其生成的输出缺乏直观的可解释

邮箱：yanjw@性。文献提出了一种新颖的方法，旨在最大化长期风险调整后的投资回

报，同时保持模型输出的可解释性。采用成熟的基于规则的策略，通过

分析师：钱静闲模仿学习生成神经网络模拟模型，从而传递专家知识。这些“导师”模

执业证书号：S0010522090002

型随后通过结合执行-评估模型（SoftActor-Critic,SAC）和深度确定性

邮箱：qianjx@

策略梯度（DeepDeterministicPolicyGradient,DDPG）的混合强化学

习算法进行增强，目标是创建出表现优于其导师的“学生”模型。回到

国内市场，该类基于规则的强化学习方法可解释性更强，在资产配置领

域或能发挥较大的作用。

⚫导师-学生模型

“导师”模型基于Keller和Keuning提出的动态资产配置模型，其

核心思想倡导一种更稳健且潜在收益更高的投资方法：采取与资产动量

方向相反的交易策略。具体而言，当作为诊断工具的指示性资产显示出

[Table_CompanyReport]

相关报告动量减弱迹象时，该策略建议从高风险资产（主要是股票类ETF）中撤

1.《分解动量：被遗忘的成分HTP—资，转而增持安全资产（以债券/国债类ETF为主）。

—“学海拾珠”系列之二百二十九》“学生”模型继承自上述基于规则（rule-based）的资产配置模

2.《基于树模型的有效前沿扩展——型，同时引入深度强化学习（RL）算法进行精细化调优，在DDPG框

“学海拾珠”系列之二百二十八》架基础上引入SAC特性（如双评估减少偏差、灵活调整决策-评估模型

3.《使用深度强化学习解决高维多期更新频率），形成混合扩展模型。

环境下的组合配置——“学海拾珠”

系列之二百二十七》⚫实证结果

4.《风险规避型强化学习模型在投资在一个近40年的价格数据集上，对美国股票、债券、美国国债、

组合优化中的应用——“学海拾珠”大宗商品及其杠杆等价物等广泛的资产类别进行模拟，实证验证了这一

系列之二百二十六》策略的有效性。新模型的测试集中，夏普比率提升了高达39.70%，索

5.《贝塔异象的波动性之谜——“学提诺比率提升了