大数据技术证券行业分析.docVIP

大数据技术证券行业分析 摘要：大数据技术是证券行业主要研究的科技创新方向之一，文章对大数据技术在国内证券行业的研究现状进行介绍，并对大数据技术研究方向进行划分，对建设大数据平台面临的困难进行分析，对平台框架构建进行了深入介绍。从而可以使证券公司结合情况，选择最适用于自己的大数据技术策略，并提高困难解决能力，构建出适用自己的大数据技术框架。 关键词：大数据技术；证券行业；大数据技术框架 近几年在金融行业，“金融科技”、“监管科技”等词汇总是会被人们频繁提起，这是因为科技对证券行业的服务模式起到了极为深刻的变革创新。随着金融科技中的新兴技术的蓬勃发展，证券行业如何正确使用这类新兴技术，如何将自身发展同这类技术绑定，这些问题都留给了证券行业很多的选择。 1大数据技术的国内现状 随着大数据技术进入国内的证券行业，越来越多的证券公司都开始觉察到大数据的价值，逐渐开始启动大数据的相关研究和分析工作，试图通过大数据技术挖掘海量数据的实际价值。现介绍三则证券公司的使用实例。交易日志监控分析系统，是包含了手机端和网页端日志的存储，并对服务器性能，用户交易行为和支撑系统运营状况进行监控分析。交易日志监控分析系统支持海量的日志存储和分析，提高了现有系统的管理和运营水平。异常交易预警系统是基于大数据平台中的相关用户信息，对异常交易行为进行提前预警，比如高买低卖利益传送预警，长期闲置账户频繁异动预警，大量委托查询请求预警等。客户画像系统是将通过自由源数据和第三方数据收集的客户信息传送到大数据平台中，对数据进行计算后将结果放入到用户画像系统和模型管理系统中，得到的最终输出结果作为业务应用。用户画像系统是对客户进行计算分析后，添加各类描述标签，构建出一个严格的标签体系，并把结果推送给业务进行使用。画像系统和模型系统得到的最终分析结果，可以一起发送给上层应用，实现金融产品推荐，精准广告投放，线下客服沟通，风险防控等服务。 2大数据平台的构建 2.1大数据技术的分类划分。针对大数据技术的数据实时性特点和计算复杂程度的特征，可以对大数据技术的使用情况进行复杂程度和实时性分类，根据这样的划分，得以结合证券公司本身的研发特点和实力，制定出相应的研发方向，建立起自身的竞争优势。研发的方向可以归纳为四个类型——描述型、诊断型、预测型和指导型。传统企业都比较擅长使用描述型数据和诊断型数据，所以真正把数据运用得当，取决于预测型数据和指导型数据的使用。描述型数据主要体现在报表类业务，其让事件反映的具体、清晰；诊断型数据是针对所出现的问题进行判断分析，比如根据财务数据的指标，发现企业的财务运行情况等；预测型数据是由数据来预测将来事物发展的趋势，可以提前发现事物的潜在问题再进行纠正，也可以预测行情变换进行投资交易获利；指导型数据可以根据客户的行为习惯来挖掘客户的潜在需求，帮助证券公司做出更好的产品或者对应服务，指定针对性营销方案从而获得更好的投资回报。2.2大数据平台构建的困难。证券公司在构建真正的大数据平台时，应该结合自身的实际情况，分析将要面临的困难挑战。证券公司所面临的困难可以分为五大方面，分别是：性能、海量、实时、精准、共享。性能问题是指客观硬件上性能不足，导致数据运行时间长，复杂查询或者过高频率的并发查询的效果过差。海量问题是客观存在的多样性大量数据所导致的问题，这是因为数据的格式过于多样，而承载数据量总是有限的，不可能存储全部的海量数据。实时性是指获取和处理数据的能力，实时性的局限会对实施事件、动态营销、智能服务等造成影响。精准性困难是指缺乏对投资者资产台账清算的思维，仅仅依靠传统的技术手段是无法全面掌握客户的需求和偏好。共享性困难是指数据难以提取和使用，访问的方式过于单一，对不同业务系统或者专项统一数据的支撑能力的有限性。在面对这些数据的同时，应该以数据为起点，应用为核心，而整个过程是重复着“去解决数据问题”和“数据去解决问题”的反馈机制，在这个机制中，证券公司应该不断加强数据应用能力、数据运算能力和数据融合能力。2.3大数据平台框架构建。大数据平台的总体框架是由平台、引擎和行业数据模型三者构建。其中平台包含数据整合平台（ETL工具集）、数据管控平台（数据标准管理、数据质量管理、元数据管理、运维监控）和数据服务平台（数据资源管理、数据服务总线、安全监控等）；数据流引擎包含计算引擎和数据流引擎；最后的模块是行业数据模型。如下将对个组成模块进行讲解。数据整合平台需要采取不同业务系统的数据，平台为了适应据中心多类型数据源采集的需要，需要支持多种类型的数据采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息队列接口(点对点模式、发布与订阅模式、实