企业数据存储的发展挑战和机遇.docxVIP

?

?

企业数据存储的发展挑战和机遇

《迈向YB数据时代》

?

?

随着互联网技术的不断发展，企业的业务模式发生了颠覆性的变化，相应的数据无论从结构、量级以及数据价值的挖掘角度上都有了质的变化，这必然导致企业存储系统面临一系列的挑战和机遇。

企业数据未来如何发展？企业数据存储由此会面临哪些挑战和机遇？

金融企业未来的数据结构、规模特性以及交易行为固有的业务要求就决定了数据存储系统底层的技术架构必然是精准匹配模式。把最适合的底层技术应用到需要的数据业务场景当中去，这是底层技术选型设计应该遵循的基本原则。

金融行业的存量数据管理水平在各行业当中应该算是相对比较高的，IT基础架构当中的存储架构也相对稳定成熟，但是随着近些年的信息化大浪潮的不断涌动，其实已经悄然发生或者正在酝酿着即将来临的系列变革，相应的存储架构也会面临着挑战和机遇，透过对金融企业存量数据的梳理分析看到未来的变革趋势是我们的初衷。

一、金融企业存量数据现状是什么样的？

1.数据标准方面

以银行业为例，通过90年代的数据大集中变革，在架构、数据、接口等各方面都有了系列的标准化指导。例如，2014年发布的《银行数据标准定义规范》，类似这样的标准几乎每年都会有所更新。有了这些规范的约束，无论是谁在开发银行的金融系统，它的数据模型设计基本上都要遵循这样的标准进行。因此大多数银行企业都已经具备了一套以核心系统账户及客户为中心，以各交易各渠道系统签约信息为扩展的结构化数据标准体系，以客户为中心的结构化数据体系具备了后续挖掘和分析的基本条件。与银行相比而言，保险和证券的标准化程度可能会差一些，但随着监管口径的统一化发展，整个金融行业基本都沿着这个方向在前行。

2.数据挖掘方面

在数据挖掘方面，银行业有着已经稳定运行很多年并且架构、模型、算法都很成熟的数据仓库应用。但是这么多年来似乎业务领域扩展也非常稳定，几乎都集中在监管报送、反洗钱分析、信贷风险评估等这几个方面，而且这些数据分析都是基于已经经过标准化洗礼的结构化数据进行。随着大数据技术的发展，越来越多的银行开始评估非结构化数据和结构化数据结合起来的价值挖掘，在拓深原有业务领域的同时，增加了新的价值挖掘领域的应用，例如：精准营销、风险评估、智能运维等各个方面。在保险行业，越来越多的企业开始探索数据在客户画像、精算模型等方面的探讨。

3.数据管理方面

数据管理一方面是要对数据全生命周期进行管理，另外一方面是要对数据利用的各个维度进行精准有效的管理。从数据源的管理上来讲，现状还是比较分散独立，各个系统没有统一的数据下沉接口，大多数场景都是基于特定数据分析系统的需求分别向各数据源头请数；从数据管理工具上来讲，基本上还没有成型的工具可以实现数据的资源分配、过程控制、动态调整、服务计算等方面的整合；从数据生命周期上来讲，基于在线数据的管理和利用有基本的框架，基于离线或归档的历史数据管理只有比较单一的存储功能。

4.数据扩展方面

大多数金融企业对数据价值的利用基本都是集中在自己企业内部的存量结构化数据，比如基于各系统内的源数据以及历史数据进行再次加工，从而形成具备特定业务特性的汇总类、分析类、抽象类延申数据。但是对于系统外的数据利用相对比较少，比如：互联网渠道的客户动态行为属性类数据的获取和利用、外部企业或实体的数据利用、IT运维维度的数据利用等，对于非结构化类数据的挖掘程度没有开始或者还在探索当中。

二、金融企业数据发展面临的问题

1.标准化需要向非结构化数据拓展

从数据治理的角度来看，数据标准化体系的建设不仅仅要落在结构化数据上，更需要建立在非结构化以及半结构化的数据上，从数据模型设计、数据存储管理、数据挖掘利用等各方面都迫切需要对结构化之外的数据进行治理。金融企业目前保存最多的可能就是影像平台里面的票据、单据、证件等业务相关的图片数据，以及系统运行过程中留下的各类账务类以及运行类日志数据，未来还会有更多的网页类数据以及视频媒体类数据会积淀下来。那么这些数据要想在后期的数据挖掘和分析上起到与结构化数据同等重要的作用，从数据本身的模型标准、存取过程以及再生产过程等各个维度，都需要建立一套标准化体系以备存在的和潜在的数据价值挖掘所用。

2.非结构化数据的价值挖掘深度不够

从数据挖掘的角度来看，金融企业对结构化数据的挖掘深度和广度在不断发展。但是对于非结构化及半结构化数据的价值挖掘深度远远不够。以银行的影像系统为例，可能90%的数据行为是写，而只有少量的读取行为，这少量的数据读取也是为了信贷类、票据类业务的复核。而透过这些半结构化数据的元数据本身以及还没有提取的结构化信息，结合结构化数据线索，其实是可以进行再分析和再利用的。以金融行业的互联网业务为例，更多的客户网络行为数据以及线上产品相关的线上效应数据应该被沉淀下来，这些非