大数据与管理37.pptVIP

大数据与管理 报告人：和 力 数据：数据是记录下来可以被鉴别的符号，包括文字、图片、视频和声音等。 岩画 MB 文字 GB 纸、印刷术 TB 互联网 PB 大数据 ZB 太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。 目录 大航海时代，早期由于对潮汐、风和洋流等知识的缺乏，远洋航海不仅效率低下，而且充满危险。 大数据的前世今生 莫里航海图，最早的大数据实践 UPS的司机一般每天要送120至175次货。在任何两个目的地之间，都可以选择多条路线。显然，司机和UPS想要找到其中最有效率的那条。 大数据的前世今生 UPS行车路线选择 大数据的发展背景 2001年 Gartner研究指出，现代信息社会的信息爆炸已经演变成了数据爆炸。 2008年 2011年 《Nature》杂志出版专刊“Big Data”，分析了大量快速涌现数据给数据分析处理带来的巨大挑战。 《Science》推出关于数据处理的专刊“Dealing with data”，讨论了数据洪流（Data Deluge）所带来的挑战。 5月麦肯锡全球研究院发布了《大数据：创新、竞争和生产力的下一个领域》研究报告。 2012年 3月奥巴马总统宣布美国政府投资逾2亿美元启动“大数据研究和发展计划（BDRDI）”。 5月，联合国发表名为《大数据促发展：挑战与机遇》的政务白皮书。 大数据的发展背景 随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此2013年被许多国外媒体和专家称为“大数据元年”。 大数据的发展背景 1、智能终端的普及 2、网络带宽的提升 3、电子商务的狂热 4、社交网络流行 5、位置信息 6、云计算的兴起 7、物联网时代的到来 大数据的发展背景 大数据的发展背景 大数据的定义 麦肯锡全球研究院（2011）对大数据的定义是从数据集的大体量入手的：大数据是指那些规模大到传统的数据库软件工具已经无法采集、存储、管理和分析的数据集。 百度百科对大数据的定义是: 大数据( Big Data) ，或称巨量资料，指由于容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存储、检索、共享、传输和分析的数据集。 维克托∙迈尔-舍恩伯格（2012）在《大数据时代》一书中主要从价值大的角度来定义大数据，他认为大数据是当今社会所独有的一种新型的能力：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。 大数据的特征 大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。 存储量 据估计，2007年全球存储了大约300EB的数据，而到2013年，已达1.8ZB，据估计到2020年，世界上存储的数据预计能达到35ZB之多，相当于数千亿个大型图书馆存储的数据。 太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。。。。 大数据的特征 大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。 存储量 + 计算量 广州超算中心 16000个运算节点 312万个计算核心 整体总计内存1.408PB 12.4PB的硬盘阵列 大数据的特征 大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。 处理速度快。1秒定律。 这一点也是和传统的数据挖掘技术有着本质的不同。 数据更新、增长速度快 Facebook上每秒有4.1万张照片上传，淘宝每秒有数万笔交易。 + 数据存储、传输等处理速度快 大数据的特征 大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。 处理速度快。1秒定律。 这一点也是和传统的数据挖掘技术有着本质的不同。 数据类型繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。 大数据的特征 大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。 处理速度快。1秒定律。 这一点也是和传统的数据挖掘技术有着本质的不同。 数据类型繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。 价值密