端到端强化学习做市商策略设计.docxVIP

端到端强化学习做市商策略设计

一、引言

在全球主要证券、期货、期权等场内交易市场中，做市商是维持市场流动性、平抑短期非理性波动、降低普通投资者交易成本的核心参与主体。做市商通过持续向市场报出双边买卖价格、接受投资者的买卖请求，在赚取买卖价差收益的同时，为市场提供即时成交的流动性支撑。经过数十年的发展，传统做市策略已经从最初的固定价差报价模式，进化为融合库存管理、逆向选择成本测算、市场冲击估计的精细化量化体系，其中最具代表性的是基于库存平衡的经典做市模型，该模型通过求解最优报价价差实现收益与风险的平衡，在稳态市场环境下展现出了较强的稳定性（Avellaneda等，2008）。但随着高频交易的普及，市场微观结构的复杂度不断提升，传统做市策略依赖的波动率恒定、订单流服从均匀泊松分布、无信息交易者主导行情等强假设越来越难匹配真实市场状态，叠加传统分模块策略“预测-优化-执行”链路中存在的误差传导问题，策略在极端行情下往往容易出现库存风险敞口过大、做市义务完成率不足等问题。

近年来，强化学习技术凭借其在连续序贯决策场景下的突出优势，被逐步引入做市策略研发领域，但早期的强化学习做市方案大多延续分模块设计思路，依赖人工构建的市场特征开展决策，并未从根本上突破传统策略的局限。随着深度学习特征提取能力的不断提升，端到端强化学习范式为做市策略的升级提供了新的可行路径：该范式直接以原始市场数据作为输入，