神经网络组合优化初探.docxVIP

金工研究 金工研究 PAGE 10免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 PAGE 10 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 将组合优化融入端到端的神经网络框架中 华泰金工人工智能系列报告致力于将人工智能方法应用于量化投资的各个流程环节。如图表 1 所示，在基于因子的量化投资流程中，因子生成、多因子合成、组合优化是三个重要步骤。传统的机器学习方法(遗传规划、随机森林等)能针对单个步骤提供改进方案。但在分开执行不同步骤时，可能会存在目标函数不一致、信息损耗的问题。为了实现多个步骤的端到端(end to end)优化，需要借助神经网络和深度学习。我们在《人工智能 32：AlphaNet： 因子挖掘神经网络》(2020.6.14)中构建了深度学习模型 AlphaNet，能实现端到端的因子挖掘和因子合成，但尚未将组合优化纳入。 本文将关注如何将组合优化也融入到神经网络和深度学习中，从而打通量化投资的三个步骤，实现全流程的端到端优化。具体而言我们将借助 CvxpyLayers，在进行凸优化的同时 传播梯度。在一个理想的端到端神经网络框架中，输入资产的原始数据，通过神经网络进行特征提取和合成，再通过 CvxpyLayers 优化得到资产权重，目标函数可直接定义为资产组合的收益率或其他指标，并使用该目标函数优化整个神经网络。 图表1： 人工智能模型融入量化投资流程 资料来源： 基于神经网络的组合优化工具：CvxpyLayers 传统组合优化方法的局限 我们以马科维茨模型为例，来说明传统组合优化方法： min ??????Σ?? ? ?????? ?? s.t. { ???? = ?? ???? ≤ ? 式中??为权重，??为预期收益，Σ为协方差矩阵，??为风险厌恶系数，目的是在给定约束下求解目标函数最优值时的??。该问题可以使用Matlab 中的quadprog 函数或者scipy的optimize 模块来求解。这些传统求解方法可能会有以下局限： 预期收益??是给定的，组合优化过程无法影响到预期收益，不能做到端到端的优化。 对于??这样的参数，需要通过遍历测试的方式来确定，无法在组合优化的同时确定。 一般只进行单期优化。 存在以上局限，本质上都是因为传统组合优化方法是一个独立的过程，不能传播梯度，因此无法借助神经网络进行端到端的优化。 基于神经网络的凸优化研究回顾 针对基于神经网络的端到端凸优化，近年来有若干相关研究，本节进行简要回顾。 OptNet: Differentiable Optimization as a Layer in Neural Networks：论文发表于 2017 年的 ICML 会议，作者针对二次规划开发了一个可求导的凸优化神经网络层。对应的代码地址为：/locuslab/optnet。 Differentiable Convex Optimization Layers：论文发表于 2019 年的 NIPS 会议，作者针对更加广泛的凸优化问题开发了可求导的凸优化神经网络层 CvxpyLayers。对应的代码地址为：/cvxgrp/cvxpylayers，CvxpyLayers 项目目前由斯坦福大学凸优化研究组维护。 A Surrogate Objective Framework for Prediction+Optimization with Soft Constraints： 由微软亚洲研究院发表于 2021 年的 NIPS 会议，作者针对含有软约束的神经网络的预测+ 优化问题， 提出了一个代理目标函数求解框架。 对应的代码地址为： /PredOptwithSoftConstraint/PredOptwithSoftConstraint。 CvxpyLayers 简介 以上提到的研究中，CvxpyLayers 是一个较为成熟的项目，本节对 CvxpyLayers 进行简介。 图表2： CvxpyLayers：将凸优化问题嵌入现有的神经网络框架中 资料来源：，/cvxgrp/cvxpylayers CvxpyLayers 在 Cvxpy 的基础上，将凸优化过程作为网络层嵌入到神经网络中，使得梯度传播成为可能。具体来讲，CvxpyLayers 做出了以下贡献： 原理方面，CvxpyLayers 利用作者设计的 DPP(Disciplined parametrized programming， 规范参数化规划)方法和 ASA(Affine-Solver-Affine，仿射-求解器-仿射)格式来表述凸优 化问题，构建凸优化结果对模型参数的仿射映射，从而使求导变得可能，使我们不仅能用凸优化的方法完成优化，还能求出凸优化输出值对模型中待优化参数的梯度，以便神经网络进行梯