20240219-东北证券-人工智能系列之二：基于CNN_Transformer的深度学习模型探究.pdf

[Table_Info1][Table_Date]

证券研究报告发布时间：2024-02-19

[Table_Title][Table_Invest]

证券研究报告/金融工程研究报告

基于CNN-Transformer的深度学习模型探究

人工智能系列之二

报告摘要：

沪深300走势图

[Table_Summary]

金融数据的特点是高维度、高频率和非线性，这使得传统分析方法往往

束手无策，难以捕捉其中的深层次模式和关系。CNN以其卓越的特征提

取能力，特别适合于处理图像和时间序列数据；而Transformer，凭借其

独特的自注意力机制，能够有效处理长距离序列依赖问题。这两种模型

的结合，为金融市场分析提供了一种全新的视角和方法。

本篇报告在第二章详细介绍了CNN和Transformer的基本原理、关键特[Table_Report]

相关报告

性及其在金融数据分析中的应用。通过研究这些深度学习技术方法和原《上月红利、Beta、价值因子表现较优》

理，总结它们在各个应用领域取得成功的原因，总结不同领域之间的共-

性，以探索它们在金融时间序列数据分析中的潜在价值。《可转债风险模型构建与应用》

-

在报告第三章介绍了基于CNN和Transformer的时间序列模型（CTTS）《雪球产品敲入规模分布估算和市场影响点

的模型构造和训练方案以及实验配置和结果。CTTS将日内股价数据序评》

列通过一维卷积以及多层Transformer，最后经过MLP得出“上涨”、-

“下跌”、“持平”的预测概率。在原文实验的所有统计中，CTTS的预《债基回报改善，久期杠杆回升》

测准确率都高于三种基准策略，这表明了结合CNN和Transformer用于-

时间序列预测的有效性。《2023年四季度公募主动权益基金持仓解析》

-

最后总结CNN与Transformer两种模型的优势与特点，结合CTTS模型

的启发，提出了将CNN与Transformer结合应用于量化分析的研究方案：

[Table_Author]

（1）采用类CTTS的模型结构进行基于分钟频率的高频数据选股因

子挖掘。从当前的研究情况来看，采用类似的结构基于日频数据证券分析师：王琦

执业证书编号：S0550521100001

进行选股因子挖掘的效果并不理想。要想增加模型的拟合能力，021wangqi_5636@

需要提升自注意力头数以及Transformerblock层数，相应的也需

要更大规模的训练数据。

（2）与CTTS相同的，尝试根据预测涨跌平分类训练模型，挖掘有效

的股票择时策略。

（3）根据两种模型不同的特性，将两种模型在不同频率的数