[大数据技术及其应用.docVIP

大数据技术及其应用 xxxx 摘要：大数据的概念由来已久，但在多数人眼中大数据就是数据大，甚至有时和云计算混为一谈。本文主要对大数据的定义进行重新的认识，并将其与云计算加以区别。而在大数据流行的今天，大数据究竟带来了什么有利的影响，或者说它将有什么样的前景。这些问题都将在文中一一列举。 关键字： 大数据 云计算 发展 应用 Abstract：The concept of big data has a long history, but in most eyes data is large, and sometimes confused and cloud computing. This article mainly to the understanding of the definition of big data, and tries to distinguish and cloud computing. Popular and in large data today, what brought the big data beneficial effect, or it will have what kind of future. All these problems will be enumerated in this paper. Key word : Big Data Cloud computing Development Application 引言 从引爆之日到今天，大数据似乎成了万灵药，从总统竞选到奥斯卡颁奖、从web安全到灾难预测，正如那句俗语：“当你手里有了锤子，什么都看上去像钉子。”当IT经理成功部署一套Hadoop系统后，任何事看上去都与大数据有关（事实也是如此）。 但是，究竟什么是大数据呢？ 如果说大数据就是数据大，或者侃侃而谈4个V，又或者拿Google和Amazon举例，技术流可能会聊起Hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测、隔衣瘙痒。想要系统的认知大数据，必须要全面而细致的分解它，这里从三个层面来开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。分为互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面。 何为大数据 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。[1]” IBM 最早的定义将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，数据体量巨大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）；第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。其实这些V并不能真正说清楚大数据的所有特征，下面这张图对大数据的一些相关特性做出了有效的说明。 古语云：三分技术，七分数据，得数据者得天下。先不论谁说的，但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证，说明了一个道理：在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量；Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。 那么，什么是大数据思维？ 维克托·迈尔-舍恩伯格认为，1-需要全部数据样本而不是抽样；2-关注效率而不是精确度；3-关注相关性而不是因果关系。[2] 阿里巴巴的王坚对于大数据也有一些独特的见解，“今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。”“非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。”“你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。”特别是最后一点，大数据的真正价值在于创造，在于填补无数个还未实现过的