第八章 大数据概念—光环大数据培训.pdf

大数据概念：史上最全大数据解析 现如今，我们身边很多人对一些热门的新技术、新趋势往往趋之若鹜却又很难 说得透彻，比如大数据，如果被问大数据和你有什么关系，估计很少能说出一 二三来。究其原因，一是因为大家对新技术有着相同的原始渴求，至少知其 然，在聊天时不会显得很“土鳖”；二是在工作和生活环境中，真正能参与实践 的大数据案例实在太少了，所以大家没有机会花时间去知其所以然。 我希望有些不一样，所以对该如何去认识大数据进行了一番思索，包括查 阅了资料，翻阅了最新的专业书籍，但我并不想把那些零散的资料碎片或不同 理解论述简单规整并堆积起来形成毫无价值的转述或评论，我很真诚的希望进 入事物探寻本质。 如果你说大数据就是数据大，或者侃侃而谈4 个V ，也许很有深度的谈到 BI 或预测的价值，又或者拿Google 和Amazon 举例，技术流可能会聊起 Hadoop 和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认 识，不说是片面，但至少有些管窥蠡测、隔衣瘙痒了。……也许，“解构”是最好 的方法。 怎样结构大数据? 首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已， 没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬 托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业 的不断创新，大数据会逐步为人类创造更多的价值。 其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三 个层面来展开： 想拿高薪，选对行业很重要！学大数据开发，工资高，前景好，发展空间大！ 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基 线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据 价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数 据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博 弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别 从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采 集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大 数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已 经展现的美好景象及即将实现的蓝图。 和大数据相关的理论 特征定义 想拿高薪，选对行业很重要！学大数据开发，工资高，前景好，发展空间大！ 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业 和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预 示着新一波生产率增长和消费者盈余浪潮的到来。” 业界(IBM 最早定义)将大数据的特征归纳为4 个“V”(量Volume ，多样 Variety ，价值Value ，速Velocity) ，或者说特点有四个层面：第一，数据体量 巨大。大数据的起始计量单位至少是P(1000 个T)、E(100 万个T)或Z(10 亿个 T);第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。 第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统 的数据挖掘技术有着本质的不同。 其实这些V 并不能真正说清楚大数据的所有特征，下面这张图对大数据的 一些相关特性做出了有效的说明。 想拿高薪，选对行业很重要！学大数据开发，工资高，前景好，发展空间大！ 古语云：三分技术，七分数据，得数据者得天下。先不论谁说的，但是这 句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一 书中举了百般例证，都是为了说明一个道理：在大数据时代已经到来的时候要 用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的是Google 如 何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋 势;Amazon 如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推 荐，以此有效提升销售量;Farecast 如何利用过去十年所有的航线机票价格打折 数据，来预测用户购买机票的时机是否合适。 那么，什么是大数据思维?维克托·迈尔-舍恩伯格认为，1-需要全部数据样 本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。 阿里巴巴的王坚对于大数据也有一些独特的见解，比如，