大数据分析方案 .pdfVIP

大数据分析方案

张军

【摘要】随着信息化建设在企业内部的不断深化,通过信息化技术不仅增强了企业

的核心竞争力、加速了企业的发展,而且为企业积累了海量的数据信息.为有效利用

企业IT资源在运行中积累的各种数据,让企业从战略角度更准确地遇见未来,从而在

经营模式、管理方式、战略决策给企业带来巨大的变化和创新.提出了一套大数据

分析平台建设方案,从“数据汇人、数据存储、数据分析、数据展示”全过程对数

据进行管理和分析.

【期刊名称】《信息安全与通信保密》

【年(卷),期】2016(000)006

【总页数】3页(P105-107)

【关键词】大数据;分析;事件归并;数据集中

【作者】张军

【作者单位】中国电子科技集团公司第三十四研究所,广西桂林541004

【正文语种】中文

【中图分类】TN915

当前全球已进入大数据时代，数据量巨大，增长速度极快，类型丰富，单元价值极

小但规模价值很大。根据2012年出版的涂子沛的《大数据》一书记载[1]，2010

年全球企业一年新增的数据就超过了7000PB，全球消费者新存储的数据约为

6000PB，这相当于十多万个美国国会图书馆的藏书量。最可怕的是，从2010年

至今仍然不停地出现各种各样的新设备、新技术、新机器帮助政府、企业和个人产

生更多的数据。中国工程院院士大数据专家李国杰曾在报告中称:大数据将带来一

场社会变革，特别是公共管理和公共服务领域；有行业报告显示，某国政府通过大

数据技术每年可节省330亿英镑[2]。据IDC2014年报告分析中国大数据技术与

服务正在快速的增长，年增长率约38.6%，预计2017年的市场规模将达到8.5亿

美元[3]。

在大数据时代，企业和组织受到大数据的影响越来越大，未来各行各业都无法避免

受其影响。互联网企业正在通过大数据来刻画用户行为喜好特征，实现信息精准推

送，增加用户粘性流量以及业务收入[4]。企业正在通过大数据来评价鉴别个人的

信用风险，从而调整信用额度来降低企业风险成本或增加业务收入。电信运营商随

着个性化业务不断增减，产生了大量的运营数据，其需要进行分析才能提升业务价

值，但采用传统数据库技术在性能和扩展成本上都严重制约着这一需求。

大数据分析平台通过采用数据建模技术、节点管理技术、事件收集和事件归并技术

等先进的技术，解决了传统数据分析平台数据库容量扩展困难、维护成本高、分析

时效性低的问题，实现了不同来源的异构数据的集中挖掘分析与展示。

随着信息化建设的不断深入，企业和组织围绕业务要求已经建设了大量的网络设备、

安全设备、终端、服务器、业务系统等IT资源。这些IT资源在运行过程中积累了

大量的各种类型的数据，包括网络基础资源运行相关的数据、网络安全相关的数据、

业务相关的数据等等[4]。普遍存在的问题有:

a)没有将这些数据集中收集和存储起来，对其进行分析获取其中潜在的价值；

b)虽然IT资源产生的部分数据正在被利用，但是数据量越来越大，已有的分析利

用手段越来越低，数据的维护和利用压力正在变大。

随着数量的增加，遇到的一些数据分析相关的典型问题如下:

1)已建安管平台遭遇瓶颈

为解决单个安全设备很难发现的安全问题，需要将安全设备产生的数据结合起来分

析才能发现那些潜在的威胁。虽然安全厂商已经推出了安全管理平台这类产品来解

决安全设备间的信息孤岛问题，但是其在融合新的数据时仍存在瓶颈，主要表现有:

a)数据处理过程中的定义不够直观、方便；

b)在进行数据分析时，分析规则功能简单，无法对数据构建有效的分析模型；

c)一般的数据库已无法适应大数据的存储与访问需求。构建在关系型数据库上的安

全管理平台已无法适应这种数据增长的需要。

2)大量监管数据无法分析

具有监管职能的用户为实现对目标结构、网络、信息系统等的安全监管，部署大量

检测类设备和系统积累了大量的监测数据，数据量较大、存储分散、没有集中化的

分析工具，导致面对这些数据无法分析，不能从中发现对被监管对象安全监管有价

值的潜在信息。

3)业务数据分析变得困难

用户需要对业务数据进行分析，但是业务规模的不断扩大，互联网、物联网等各种

新技术在业务中的不算应用带来业务模式的不断新增，需要分析的业务数据越来越

大，在传统关系型数据库及数据仓库上构建的业务分析系统面临分析容量扩展困难、

维护成本高、分析时效性低等诸多问题，企业和组织需要寻找一种新的方案解决当

前面临的困境。

基于对以上现状及问题的考虑分析，企业和组织进行大数据分析需要走完五个主