从应用视角看大数据对公司的影响.docVIP

PAGE 9 从应用视角看大数据对证券公司的影响 孟庆江 作者简介：孟庆江，澳门大学博士，现就职于中投证券博士后站。 随着移动互联网、物联网、云计算技术的快速发展和社会对于大数据的逐渐重视，大数据从概念逐渐走向应用。互联网金融企业在过去的一年里快速发展壮大，对传统金融行业造成严重冲击，很大程度上就依赖于大数据和云计算技术，能够动态了解客户的多样化需求，改善传统金融的信息不对称问题，推出满足客户需求的个性化金融产品。 随着A股市场全面放开一人一户限制，以及券商牌照即将向互联网公司放开，面对居民财富迅速增长和其对理财产品多样化的需求，券商受到来自行业内外部的双重压力。传统IT基础设施环境逐渐无法满足证券公司对转型和创新战略的要求，建立大数据驱动的创新平台，为即将到来的业务差异化竞争提供强有力的技术支持，将是证券公司抢占市场先机的必备条件。 一、证券公司大数据的实际应用 相对于其它行业的数据，证券行业数据具有质量高、价值大、可定位性好等特点。证券公司拥有大量的客户交易数据，通过对这些数据的分析，可以细分客户类别，并据此为客户提供差异化服务。此外，公司可以对实时行情、财务报告、经济信息、新闻等衍生数据进行分析，也可以对产品/投资品信息、头寸/交易信息、交易对手数据、评级数据等参考数据进行分析，还可以分析曲线、差价、波动信息、相关性分析等经过加工后产生的数据。 （一）证券公司大数据的应用概括 定量分析是在基于产品的几十个甚至上百个独立变量之间寻找定义数以千计的客户细分。从深度历史数据中找到隐含相关性，从而使公司可以做出更加正确的决策，在寻找有针对性的销售、市场和定价策略方面更可能成功，这意味着带给证券公司更多的收入和更快的销售周期。图1给出了大数据在证券公司的主要应用流程图，详细描述了大数据在量化研究、风险管理及客户管理等方面的应用。 图1：大数据在证券公司的主要应用流程图 未来证券公司需要分析的数据量、复杂度和语义深度都将大幅增加。而数据管理能力涵盖数据的获取、清洗、存储、分析和发布，帮助证券公司在客户管理、产品创新、风险管理和业务运营上提高水平。证券公司作为多牌照的金融机构，不同牌照间通过对客户行为数据、客户交易数据的分析，可以开发设计出新的产品。 （二）大数据在风险控制中的应用 证券公司在风险控制时需要最新的风险敞口信息，在特定时间和所处头寸期间由市场波动来计算风险度量，而风险系统依赖于每天的交易输入和市场数据，这带来了累积式风险的不完整性和不同步性。为做出正确决定，风险管理系统必须通过各种累积式层次来展示累积式风险，为了分析各种风险，传统的方法是首先创建数据仓库，然后将从其它系统中导入的数据转换为特定格式。这意味着对于每个风险系统和每个数据格式都需要数据抽取、转换和加载,因此需要针对数据仓库创建特殊的数据库架构，这些结构在未更改数据的快速读入中是最优的。在处理累积式风险数据和度量时，数据需要在给定风险的最优估计下重新计算，而关系数据库不能很有效地处理这些数据，大数据和NoSQL系统则可以为此提供有力的支持。 二、证券公司大数据分析面临的挑战 （一）海量化 管理大规模且迅速增长的数据是个极具挑战性的问题，目前数据增长的速度已经超过了计算资源的增长速度。海量化的挑战不仅仅在于收集和存储巨量的多样化数据，还在于管理和处理旧数据。证券公司每天产生的大量交易数据、客户咨询以及对公司产生影响的外部数据，新旧数据的存储和管理改变着当前的存储模式。 （二）及时性 速度是规模的另一方面。要处理的数据集越大，进行分析所花费时间将越长。在大数据背景下，许多情况下需要立即得到分析结果。例如在进行信用卡交易时，如果怀疑该卡涉嫌欺诈，应该在交易完成前做出判断，这就需要事先对部分结果进行预计算，再结合新数据进行少量的增量计算才能迅速做出判断。 高频交易是近些年来兴起的新型交易策略，它利用复杂的计算机技术和系统，以毫秒级甚至更快的速度执行交易，且日内短暂持仓。一毫秒的交易执行延迟都可能带来高达数百万的交易损失，这要求在处理数据时需要更低的程序延迟、更高的程序吞吐量和更高级的代码可扩展性。这给IT部门面对数据量大幅增长和改善交易执行时间带来新的压力。此外,为了支持大数据上的新型查询，需要设计新的索引结构来支持此类查询。当数据量越来越大并且查询响应时间有严格限制时，索引结构的设计非常具有挑战性。 随着资本市场交易的异常活跃和金融创新产品的多元化，部分券商后台服务处理能力接近极限，券商系统在网络带宽、行情调取和数据交接等方面面临较大压力，传统交易系统面临系统维护、升级以及数据采集工作等困难。未来可以通过大数据运营平台进行数据分析，设计预警阈值，及时发现系统运行故障并进行实时监控，提高系统的可预判性。 （三）隐私性 在大数据环境下，数据隐私问题更加突出。