大数据的分析与应用案例.pdf

大数据的分析与应用案例 主讲人: 王 妍 2015/10/21 1 主要内容 大数据的产生及概念 大数据的国内外发展情况 大数据的相关技术 大数据的处理平台Hadoop 2  大数据的产生及概念 1 大数据的诞生 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已 经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更 多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基 因学，创造出“大数据”这个概念。 信息爆 大数据 炸 3 “只要你的电脑连接着网络，你每敲击一下键盘都会成 为互联网数据的一部分。”广告词 互联网（社交、搜索、电商）、移动互联网（微博）、物联 网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、 金融（银行、股市、保险）、电信（通话、短信）都在疯狂的产 生着数据。 4 网络1分钟，人间1万年 5 2 大数据有多大？ 根据国际数据公司(IDC)的测算，人 类产生的数据量正在呈指数级增长， 大约每2年翻一翻。 6 3 什么是大数据？ 大数据 （Big data或Megadata），或称巨量数据、海量数据、大资料， 指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截 取、管理、处理、并整理成为人类所能解读的形式的信息。 “Big Data” 这个词最早由IBM 提出 2010 年成为专业用语登上维基百科 2012年纽约时报宣告大数据时代的来临 2012 年Gartner 公司的分析师Doug Laney 给予大数据一个全新的定义： 「大数据是大量、高速、及/或类型多变的信息资产，它需要全新的处理 方式，去促成更强的决策能力、洞察力与优化处理。 7 4 大数据的特征 数据传送速 数据量不断 度连续而快 的增大 速且 大数据的来