基于MongoDB的大规模高频金融交易数据处理.pdf

***

巨建华：基于MongoDB的大规模高频金融

交易数据处理

发表于2021-11-2612:00|4760次阅读|来源CSDN|0条评论|作者CSDN

mongodb应用效劳器数据分析数据挖掘金融

摘要：巨建华认为高频金融交易数据的主要特点是实时性和大规模，目前沪深两市每天4

个小时的交易时间会产生3亿条以上逐笔成交数据，随着时间的积累数据规模非常可观，

与一般日志数据不同的是这些数据在金融工程领域有较高的分析价值，金融投资研究机构需

要经常对历史和实时数据进展挖掘创新，以创造...

时至今日，“Bigdata〞〔大数据〕时代的降临已经毋庸置疑，尤其是在电信、金融等行业，

几乎已经到了数据“就是业务本身〞的地步。这种趋势已经让很多相信数据之力量的企业做

出改变。恰逢此时，为了让更多的人理解和使用分析大数据，CSDN独家承办的大数据技

术大会于今日在北京中旅大厦召开。本次大会聚集Hadoop、NoSQL、数据分析与挖掘、数

据仓库、商业智能以及开源云计算架构等诸多热点话题。包括百度、淘宝、新浪等业界知名

专家与参会者齐聚一堂，共同讨论大数据浪潮下的行业应对法那么以及大数据时代的抉择。

ymall技术总监巨建华

巨建华认为高频金融交易数据的主要特点是实时性和大规模，目前沪深两市每天4个小时

的交易时间会产生3亿条以上逐笔成交数据，随着时间的积累数据规模非常可观，与一般

日志数据不同的是这些数据在金融工程领域有较高的分析价值，金融投资研究机构需要经常

对历史和实时数据进展挖掘创新，以创造和改良数量化交易模型，并将之应用在基于计算机

1

***

模型的实时证券交易过程中，因此一般的数据库系统无法满足如此大规模和实时性，灵敏性

的要求。

同时巨建华表示应用复杂性〔包括高可用性、高性能，低延迟实时数据呈现、任意历史盘中

实时数据挖掘和支持用户自定义脚本实现数据提取与运算〕和数据规模〔包括财务，金融+

历史汇总交易数据、新闻资讯及研报以及每个交易日数据增量等〕是数据存储方案面临的挑

战。

以下为文字实录

非常荣幸今天能有时机站在这里跟大家分享一下，最近三年以来一直在做的一项工作，就是

高频金融交易数据分析和处理。在这之前，跟刘工讲做的工作有点相似，我今天分享过程中

不会讲我们如何去分析，如何去形成更好的模型来对数据做，拿着一些有用模型。如何高效

对数据进展分析和处理存储，然后来解决大规模数据的挖掘问题。这是我今天主要给大家讲

的，在开场之前大家会看到目前我从事主要是电子商务方面的工作，主要因为在前三年，主

要是在做证券方面交易处理。可能在座假如是有做像这方面同仁，我们可能会认识。

在开场之前，因为这个行业比拟特殊，在我们之前CSDN有CTO俱乐部，我们在做相应活

动的时候，实际上我们遇到的同事非常少。也就是说，这个领域假如我要向大家介绍如何使

用MongoDB解决这个领域问题的时候，我需要给大家做一些关于这个行业背景的介绍。首

先第一个证券，或者金融这个行业数据类型是非常复杂的，而且这个数据对于构造化，有些

数据构造化是非常差的，大多数都是一些PDF，甚至是一些文本文档。但是有一局部数据

构造还是非常强的，就是交易数据，也就是我们证券成交数据。大家炒股的时候都在用金融

终端看我们股票数据变化等等情况，假如假如有一些高起点客户会用技术指标，来进展数据

分析。

在做数据分析的时候会接触，我们数据里面有资金持仓工程，有机构评级报告，还有新闻咨

询，交易龙虎榜。假如我们平时接触少大家感觉不会很熟悉，所谓基金持仓，我们所有基金

公司对市场上的股票持有情况，也就是说，每一个每个咨询公司手上拿着什么样股票进展发

布，这样数据连续20多年沉淀下来，数据沉淀非常强。研究报告主要是机构，我们大家都

知道很多分析师，每过一段时间就会编制一些研究报告，对每一支股票进展分析，这主要是

文本类型的，主要以文本来展现。

另外由于用户习惯不同，我们股票在变化过程当中，不同用户都采用不同周期K线数据来

看盘，比方分钟，月，周年进展统计，形成所谓日K