- 1、本文档共25页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据概念:史上最全大数据解析
现如今,我们身边很多人对一些热门的新技术、新趋势往往趋之若鹜却又很难
说得透彻,比如大数据,如果被问大数据和你有什么关系,估计很少能说出一
二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其
然,在聊天时不会显得很“土鳖”;二是在工作和生活环境中,真正能参与实践
的大数据案例实在太少了,所以大家没有机会花时间去知其所以然。
我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查
阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同
理解论述简单规整并堆积起来形成毫无价值的转述或评论,我很真诚的希望进
入事物探寻本质。
如果你说大数据就是数据大,或者侃侃而谈4 个V ,也许很有深度的谈到
BI 或预测的价值,又或者拿Google 和Amazon 举例,技术流可能会聊起
Hadoop 和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认
识,不说是片面,但至少有些管窥蠡测、隔衣瘙痒了。……也许,“解构”是最好
的方法。
怎样结构大数据?
首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,
没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬
托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业
的不断创新,大数据会逐步为人类创造更多的价值。
其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三
个层面来展开:
想拿高薪,选对行业很重要!学大数据开发,工资高,前景好,发展空间大!
第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基
线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据
价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数
据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博
弈。
第二层面是技术,技术是大数据价值体现的手段和前进的基石。我将分别
从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采
集、处理、存储到形成结果的整个过程。
第三层面是实践,实践是大数据的最终价值体现。我将分别从互联网的大
数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已
经展现的美好景象及即将实现的蓝图。
和大数据相关的理论
特征定义
想拿高薪,选对行业很重要!学大数据开发,工资高,前景好,发展空间大!
最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业
和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预
示着新一波生产率增长和消费者盈余浪潮的到来。”
业界(IBM 最早定义)将大数据的特征归纳为4 个“V”(量Volume ,多样
Variety ,价值Value ,速Velocity) ,或者说特点有四个层面:第一,数据体量
巨大。大数据的起始计量单位至少是P(1000 个T)、E(100 万个T)或Z(10 亿个
T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。
第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统
的数据挖掘技术有着本质的不同。
其实这些V 并不能真正说清楚大数据的所有特征,下面这张图对大数据的
一些相关特性做出了有效的说明。
想拿高薪,选对行业很重要!学大数据开发,工资高,前景好,发展空间大!
古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这
句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一
书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要
用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google 如
何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋
势;Amazon 如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推
荐,以此有效提升销售量;Farecast 如何利用过去十年所有的航线机票价格打折
数据,来预测用户购买机票的时机是否合适。
那么,什么是大数据思维?维克托·迈尔-舍恩伯格认为,1-需要全部数据样
本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。
阿里巴巴的王坚对于大数据也有一些独特的见解,比如,
文档评论(0)