- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
大数据技术及其应用
第一章 大数据概论
当移动通信和互联网给我们带来的生活方式、思维方式的巨大改变还没有消退的时候,
大数据时代以排山倒海之势到来,什么是大数据?大数据能为人们带来哪里益处?大数据
如何改变人们的生活、工作和学习?大数据下的政府、企业和过去有什么不同?这一系列
的问题困扰着很多人,甚至连一些专家学者也对此迷惘。在人人都谈大数据的时代并不是
每个人都真正理解大数据的精髓,因此本章给读者简单的介绍一下大数据的定义、原理、
方法、应用及存在的问题。以后各章将介绍与大数据有关的技术、工具、商业模型及应用
案例等,引导读者逐步深入,了解和掌握大数据的基本知识和技能,为从事大数据及其相
关产业打下基础。
1.1 大数据的定义
大数据 (BigData)是指数据量大到用常规工具和方法无法进行处理的蕴含着大量价
值的数据集合。
因此大数据的核心是价值,数据量大只是大数据的表象,这也是为什么大数据引起业
界广泛关注的重要原因。由此可见,对于大数据的研究和应用主要集中于两点:一、从技
术层面研究大数据的模型及处理算法、开发相应的处理工具等;二、从商业模式层面寻找
大数据的商业模型、盈利模式、产业发展等。
维克托〃迈尔-舍恩伯格和肯尼斯〃库克耶编写的 《大数据时代》中指出大数据指不
用随机分析法 (抽样调查)这样的捷径,而采用对所有数据进行分析处理。大数据的 4V
特点:Volume (大量)、Velocity (高速)、Variety (多样)、Value (价值)。从该定
义看来大数据仍然体现在数据量大和价值两方面。
知名研究机构 Gartner 对大数据给出了这样的定义。 “大数据”是需要新处理模式才
能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
Gartner 的定义更多的倾向于大数据的决策优化作用。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有价值的数据进
行专业化处理。换言之,如果把大数据比作一种产业,初级或者粗糙的大数据产业主要是
提高对数据的 “加工能力”,通过 “加工”实现数据的 “增值”;而更高层次的大数据产
业将数据信息产生的价值应用到具体的行业,发挥行业价值,从而实现数据信息价值的倍
增。这样才能真正体现大数据的价值所在。
1.2 大数据与海量信息的关系
在 10 年前,我们经常听到一个名词“海量信息”,用来描述大量数据,这是在信息
技术飞速发展的大背景下,数据量增加带来的现实问题,为此国家在 “十一五”期间还加
大的对海量信息及其相关技术的研究。下面是国家科技部“973”计划对信息领域的项目
资助指南。
“十一五”期间,信息领域基础研究的发展目标是根据国际信息技术的发展趋势,结
合我国的国情和发展状况,着重从信息获取、处理、传输、存储、再现、安全、利用,信
息系统的基础元器件、信息处理环境、科学计算、人工智能、控制理论等方面开展系统深
入的研究,为我国信息产业的跨越式发展奠定坚实的理论和技术基础。 “十一五”期间,
重点研究方向包括:
(1)微纳集成电路、光电子器件和集成微系统的基础研究; (2)信息处理环境及
科学计算的基础研究; (3)泛在、可控的下一代信息网络的基础研究; (4)信息获取
的基础研究;
(5)高可信、高效率软件的基础研究; (6)智能信息处理、和谐人机交互的基础
研究; (7)海量信息处理、存储及应用的基础研究; (8)量子通信的基础研究; (9)
信息安全的基础研究
从科技部 973 重大基础研究计划资助的领域中可以看出,国家加大了对海量信息的研
究力度,这里就产生了一个疑问,大数据大还是海量数据大?二者有何联系?又有什么区
别?
海量信息仅仅是从数据量上进行界定,海量数据指数据量巨大,用普通的方法和工具
处理起来相对困难,其计算时间和运算量较大,需要开发新的存储、处理和挖掘等技术才
可以进行快速处理。大数据的数据量明显远大于海量数据,当然二者没有严格的区分门限,
通常意义上讲,大数据的数据量要大于海量数据。海量数据的很多分析处理技术可以用于
大数据的分析与处理,同样大数据的相关理论和方法同样可以用于海量数据。大数据不仅
仅从量上进行了分析,而且从本质上进行了定义,突出了其核心价值。因此可以说大数据
是海量数据的升级,大数据更突
文档评论(0)