大数据在信息安全领域的应用分析.pdfVIP

大数据在信息安全领域的应用分析 随着社会的发展和科技的进步，信息交互更加频繁，数据累积与日俱增， 大数据时代随之到来。大数据从字面意义的解释来说，即为体量很大的数据。 [1] 维基百科中将大数据定义为 ：大数据是指足够大和复杂而致使传统数据处理 应用不再适用的数据集合。其含义为所涉及的资料量规模及复杂程度已远远超 过当前主流软件工具的处理能力，而不能在合理时间内达到撷取、管理、处理 并整理成为帮助企业经营决策更积极目的的资讯。 大数据与传统数据不同，大数据整体呈现多样性、规模性和高速性，因此 需要更加先进的数据处理工具才能应对如此之大数据量的处理， 同时保证其高 效性。 大数据除了在信息量上不同于传统数据的量级，此外大数据还意味着可以 对海量数据进行挖掘和分析，当今大数据已经渗透到各个行业，通过对数据的 有效运用可以发现新的知识，使得数据为人们创造更大的价值。如信息专家涂 子沛在其著作《大数据》中提出的大数据可以带来“大知识”、“大科技”、 [2] “大利润”和“大发展” 。 国际上以麦肯锡为代表的研究人员认为，大数据是数据量已经大到在数据 获取、数据存储、数据管理、数据分析等方面远远超过传统的数据库工具处理 能力的数据集，这一观点与维基百科关于大数据的定义基本一致。 综合上述观点可以看出，我们不能简单地总结海量数据和大数据是同一个 概念的不同表示，另外从“数据”或者“海量数据”到“大数据”，也不只是 修饰词层面的改变，关于它们之间的区别我们总结为以下 3点： 1）大数据这一概念中的 “大”是指用目前主流软件工具无法实现在响应时 间范围内可以解决的大，需要采用大数据的技术对其实现处理： 2）大数据技术是一种全新的架构和技术，为了处理海量数据应运而生，大 数据的一个主要目的是高速、高效地处理海量异构的数据； 3）大数据之“大”的基本属性是“量大”，但是其更具内涵的属性是“价 值大”。所谓价值大是指通过数据处理方法对数据本身进行发掘和分析，从而 发现数据背后潜在的规律和知识等，这是简单的数据分析无法体现的含义，是 一种新的发现。 本文认为，以上 3点是根据众多学者总结出来的大数据核心思想，这 3点 内容并非并列重复的，它们是一个层级推进的关系。而这 3点中，最能体现大 数据核心的是第 3点，采用大数据技术挖掘分析新知识，创造新价值。当然， 在近年关于大数据的学术报告中，很多都会讲到大数据的“ 5V”特性，即大数 据的5个主要特征属性：Volume，Velocity，Variety，Value，Veracity。这 其实和上面提到的 3点是有异曲同工之妙，至于 5V或者更多V 的具体内容在 此不多赘述。 1 问题与挑战 1.1 数据大爆炸 IDC 国际数据公司曾对全球信息量进行相关计算，据统计结果分析，全球 信息量整体呈不断上升趋势，即使在被金融危机打击的 2009 年，全球信息量 依旧相比前一年增长了惊人的 62%，此时全球信息量已经达到 80 万PB 级。之 后经过2 年时间的迭代，截至 2011 年，全球数据总量已经达到 1.8 ZB （1 ZB 等于 1 万亿GB）。此后，全球数据总量以每2 年翻一番的速度极速增长。以此 估计，到2020 年，全球信息数据总量将会达到 40 ZB 。数据大爆炸时代的到来， 不仅体现在数据规模的急剧增长，这一时期的数据类型也开始呈现多样化。数 据类型包括结构化数据、半结构化数据、非结构化数据等多种类型。所有数据 类型当中非结构化数据将占到所有类型数据的 3/4，这意味着将产生大量采用 [3] 传统数据处理手段无法处理的数据 。 1.2 大数据到底是噱头还是未来 传统意义上的数据处理有数据挖掘、数据仓库、 OLAP 等。随着大数据时代 的到来，数据分析处理的对象已经不仅仅是数据本身，更重要的是人们需要通 过更加专业的数据分析知识和数据处理工具，从海量看似杂乱的数据集中，分 析出数据背后所承载的各类行为、数据足迹等，从而为社会行为预测、企业行 为规划和商业领域的决策提供强有力的支持。所以，各大互联网公司越来越看 重数据的商业价值，各大创业公司采用大数据分析的技术进行辅助决策，而大 数据技术也成为了当前众说纷纭的热门话题。 那么，大数据真的就只是一个噱头吗？当然不是