“量价淘金”选股因子系列研究(九)：MemoryMap在因子生产加速上的应用，以构建羊群效应因子簇为例.docx

内容目录

一、前言 4

二、MemoryMap数据存储技术 5

概念简介 5

数据存储实例 5

数据读取与因子计 度对比 7

三、羊群效应因子簇的构建 8

因子构建的 系化 路 8

事件识别：趋势资金是否行动 9

各种不 维度的成交量 9

价格涨跌幅 11

价格波动率 11

量价相关性 11

3.2.5小结 12

因子定义：羊群效应如何衡量 13

各种不 维度的成交量 13

价格涨跌幅 14

价格波动率 14

量价相关性 14

3.3.5小结 15

数据频率：不 数据集的构建 15

因子的生产、筛选与表现 16

因子的批量生产与筛选：羊群效应因子簇 16

羊群效应综合因子示例 17

指数增强组合的表现 19

么、国盛金工量价因子库简介 22

五、总结 23

努表目录

努表1：因子生产过程中的重要环节与因 4

努表2：宽表存储示例：以某日个股分钟收盘价为例 5

努表3：窄表存储示例：以某日个股分钟行情数据为例 5

努表4：MemoryMap数据存储结构：以某日个股分钟收盘价为例 6

努表5：MemoryMap数据存储代码：以某日个股分钟收盘价为例 6

努表6：MemoryMap、Parquet和CSV存储文件系 的数据读取 度对比 7

努表7：因子构建的 系化 路：以羊群效应因子为例 8

努表8：wind基于固定金额对大小单进行划分的标准 9

努表9：平安银行（000001.SZ逐笔成交数据片段 10

努表10：基于各种不 维度的成交量对趋势资金进行识别 10

努表11：基于量价相关性的变化对趋势资金进行识别 12

努表12：基于各种不 维度的成交量构建羊群效应因子 14

努表13：基于量价相关性构建羊群效应因子 15

努表14：羊群效应因子簇回测绩效示例 16

努表15：羊群效应综合因子10分组及多空对冲净值 17

努表16：羊群效应综合因子分年度表现 18

努表17：羊群效应综合因子与Barra风格因子相关系数 18

努表18：纯净羊群效应综合因子10分组及多空对冲净值 19

努表19：纯净羊群效应综合因子分年度表现 19

努表20：沪深300指数增强组合净值 20

努表21：中证500指数增强组合净值 20

努表22：中证1000指数增强组合净值 21

努表23：国盛金工量价因子库示例 22

一、前言

传统量化策略在当前市场环境下正面临一系列挑战，其中最显著的问题是边际效益递减。随着市场的发展与竞争的加剧，信息快速传播且投资者行为趋同，基于公开信息的策略越来越难以获得显著的Alpha，现有模型和因子的有效性在逐渐衰减；另一方面，靠人力挖掘Alpha新因子的难度也越来越大，提取增量信息的效率快速下降，需要持续投入大量资源对现有模型进行不断的升级和迭代，以维持未来获取超额收益的能力。

因此，如何系统性、快速、批量挖掘Alpha新因子，对传统模型进行迭代，就成为一项至关重要的技术。在此背景下，国盛金工推出“因子生产加速”相关研究，尝试在数据存储、因子计算、因子构建框架等各个层面做出努力，提升因子的生产效率。

图表1：因子生产过程中的重要环节与因素

资料来源：

本文为国盛金工《“量价淘金”选股因子系列研究》的第九篇报告，也是我们“因子生产加速”系列研究的首次尝试，先聚焦数据存储端，重点介绍MemoryMap这一数据存储技术将如何提升整个因子生产过程的效率，并具体以羊群效应因子的构建为例，详细介绍如何相对体系化地批量构建因子，最终提出“因子簇”的概念，得到羊群效应话题相关的一簇有效因子。

二、MemoryMap数据存储技术

概念简介

MemoryMap（内存映射）技术是一种将文件或设备的内容直接映射到进程虚拟地址空间中的方法。过这种方式，进程可以像访问内存一样访问文件或设备，而不需要显式地进行读写操作。

MemoryMap相比于传的CSV、Parquet等存储形式，减少了显式的文件I/O操作，由于数据直接映射到内存中，因此难高了访问度。该格式适用于需要频繁访问大文件的场景，如读取有A股的高频量价数据。

数据存储实例

股票行情数据的存储常可分为宽表存储和窄表存储这两种形式，以分钟行情数据为例：

）宽表存储，即将每个征设置为二维矩阵、并保存为单独的文件，比如对于2024/09/30这一交易日的分钟收盘价数据，存为一个数据大小为242*N（242为每日分钟数据的总行数，N为当日股票数量）的矩阵文件；

努表2：宽表存储示例：以某日个股分钟收