16.一种数据压缩存储处理装置及方法.pdf

2025/2/517:39专利之星检索系统

(/Search/Index)

智能检索表格检索专家检索号单检索分类检索uuuhellfire

著录项目信息全文PDF

权利要求说明书

一种数据压缩存储处理装置及方法

技术领域

法律状态

本发明涉及计算技术领域，尤其涉及证券交易过程中的一种数据压缩存储处理装置及方法。

背景技术

随着社会的发展，从事证券交易相关的公司越来越多，随着金融投资策略研究的深入，及时获取准确相关行情及交易数据是这些公司的

基本需求。而证券交易过程中，产生的数据体积比较庞大，并随着交易的进行不断增加，需要对交易过程中产生的大量数据进行压缩，

以方便存储、处理和传输。现有技术中，虽然有针对证券交易数据进行压缩处理的技术，但是通常仅针对行情数据进行压缩处理，能处

理的数据类型有限。并且由于算法效率较低，加载速度受限，实时性不够高。对于交易速度要求高，数据量大的机构公司来说，依然不

能满足要求；因此需要提供一种数据压缩存储处理装置及方法。

发明内容

本发明为克服上述的不足之处，目的在于提供一种数据压缩存储处理装置及方法，本方法能处理交易过程中获取或产生的一系列数据混

合数据流，包括股票、期货、期权等二级市场所有交易行情数据，开盘时各个股票信息、品种信息，盘中行情数据、逐笔下单和成交数

据，日内交易系统内部的资金、仓位信息、下单和交易回报等内部系统协议等多种数据，通过识别不同的数据类型采用不同的压缩方

式，并且在存储空间分配上采用预先分配默认存储空间再根据数据实际大小进行的动态调节，实现数据存储的自适应。能实现在保证数

据精度的同时，有效的减少了数据量，提高了传输效率，减少数据存储的空间，为交易系统的实时性提供保障。

本发明是通过以下技术方案达到上述目的：一种数据压缩存储处理装置，包括数据获取模块、预处理模块、分类模块、压缩处理模块、

调整模块、数据写入模块；所述数据获取模块，用于从数据来源处采集需要进行处理的原始数据，所述原始数据为证券市场交易过程中

产生的各种数据的混合数据流。所述预处理模块，对从数据获取模块中取得的数据进行预处理，使数据符合压缩标准，包括取绝对值和

浮点取整，将符号位单独存放。所述分类模块，用于对预处理后的混合数据流进行识别和分类，分出不同的数据类型，通过类型标记位

予以标记。所述压缩处理模块，根据标记位标记的数据类型的不同，按照不同的预设方式对数据进行数据压缩处理，提高数据关联性，

减少数据量。所述调整模块，能实现每个字段的需要的存储大小进行预估，根据预估存储长度的不同，对压缩后的数据分配不同默认存

储长度，再根据压缩后数据的实际情况，对超过预定分配空间的数据进行动态调整，实现储存空间与数据长度相适配。所述数据写入模

块，用于将处理后的数据，写入按分配的存储空间长度的存储格式中，得到处理后的数据。

作为优选，所述压缩处理模块划分为基准确定单元，差值计算单元和替换压缩单元，其中所述