大数据时代的挑战价值与应对策略.docVIP

大数据时代的挑战、价值与应对策略

【摘要】在社会的发展之下，人们已经全面进入了大数据时代，在这一时代中，人们的生活与工作方式发生了极大的改变，本文主要分析大数据时代的挑战、价值以及相关的应对策略。

【关键词】大数据时代；挑战；价值；应对策略

面对以太字节为单位的大数据时代，电信运营商的网络扩容每秒都在无限量的增加，但其收益却没有因此而增加多少。一些公司为了提高其生产力，采用“数据驱动型决策”模式取得了显著成效。

一、大数据时代的特征。

全球知名的咨询公司麦肯锡最早提出了“大数据时代”。现在人们用“大数据”来定义信息爆炸时代产生的海量数据。关于多少的数据量可以称得上是“大数据”，到目前为止，还尚未达成共识。一般认为，大数据应该在10TB至1PB（P为T的1024被）以上。其特征主要有四个。

（一）数据量大——核心特征

大数据时代之所以称之为“大”，就是其量大。数据量已经进入以太字节为单位了，其包含数量之广是我们难以相信和预测的。据统计，2009年，全球信息量已经达到了80万PB（1021字节），2010年比2009年增加了40万PB，达到了120万PB。120万PB是什么概念呢？就是把这些字节刻录在DVD上面，再把这些刻录了120万PB数据的DVD叠放在一起，可以从地球到月球叠放一个来回。

（二）种类繁多

这里的“多”指的是数据形式的多样性。在这个时代，网页，图片，视频，音频，文字等各种形式的数据承载方式，数据结构繁多，在2012年半结构化和非结构化的数据占全球网络数据量的85%左右。

（三）速度快

大数据时代的一个基本特征就是传播速度之“快”，现在不仅仅是传播速度，就是处理数据的速度因为软件工程的日新月异和人工智能的发展，也在急速增加。

（四）价值密度低

因为过多的数据和无处不在的信息感知，信息的价值密度相对较低，如何从海量的数据中提取出我们确实需要的数据，成为了大数据时代的一大难题。

二、大数据时代的挑战

（一）数据洪流的急速发展使得运营商的带宽能力更不上，适应能力亟待提高。运营商的带宽虽然也在不停的发展，但远远比不上数据的指数式增长，因此目前日益增长的数据传输能力和现有的带宽承载能力无法相匹配。

（二）数据量大、形式多样以及快速等特征也对数据的处理和存储提出了全新的要求。那么多的数据，那么多样化的数据，快速更新的数据要求更加宽大，更加便利的软件工程和人工智能来处理和存储，单单的人脑已经无法满足数据的需求。

（三）在大数据时代，海量的数据往往为网络罪犯和黑客提供了可乘之机。他们利用海量的数据作为反追踪的利器。海量的数据也为他们的作案工具和作案手法提供了新思路。例如我们熟知的APT（高级持续性安全威胁），一些小团体就是利用了先进的数据攻击手段对特定目标进行长期的持续性网络攻击。

（四）一些个人或者企业通过非法手段窃取了某些用户的私人数据，并用这些数据非法分析用户的行为和爱好，一些企业的商业机密也在海量的数据中被泄露出去。因此个人隐私和企业利益在大数据时代中受到了重大的冲击和损害。如何保护个人和企业的利益成为关键。

（五）在海量的数据面前，数据是否真实，这点显得有些扑朔迷离。“去伪存真”就成了十分重要的一项工作。但其方法和过程之分复杂。我们首先需要了解需要数据的基本特点，根据其特点来对已有的数据进行筛选，接着把已经筛选出来的数据进行分析和清理，通常是用相关工具和分析模型赖进行评估，看看结果是否符合我们需要的数据的基本特点。最后把已经分析出来的我们需要的数据进行整理和呈现。

三、大数据时代的应对策略

面对上述五个挑战，我们需要措施来应对以适应更好的大数据时代的发展。

（一）面对带宽不足的问题，电信运营商已经想出了初步的解决办法，它们将以智能管道与聚合平台作为基础，将扩大流量规模、提升流量层次和丰富流量内涵三者并驾齐驱，把释放流量价值作为导向，实现大数据和云计算的深层次结合。

（二）面对大数据时代的特征带来的挑战，这需要惠普、IBM、微软等IT巨头们携手共进，全方面加强科技创新，通过软件工程和人工智能的创新发展来扩大数据存储容量，增加数据存储方式，提高数据分析效率，让海量的数据更好的为我们服务。

（三）面对APT带来的安全威胁，政府需要借助大数据来创新处理技术。针对APT的的单点隐蔽强、攻击路径不定等特点，在全流量审计方面，需要加强事时流量监测能力和事后回溯的能力，并且提高安全工作人员的分析素质，把计算机存储和运算能力相结合，运做出一套完整的解决反APT方案。

（四）面的个人隐私安全，最主要的是加强信息加密的可靠性，防止信息被盗。用户在登录网页时填写的用户名和密码在存储和传输时的路径都需要加密，。同时网站不能用用户信息作为谋取私利的工具。另外，还需要对存储信息的硬盘进行加密和保护，防止因硬盘被盗而资料外泄。除此以外