第1章大数据的起源和发展解析.ppt

* 大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系； * 第1章 大数据的起源和发展 大数据特征 2 大数据构成 3 大数据起源及定义 1 大数据面临的机遇和挑战 4 1.1 大数据起源及定义 1.大数据起源 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据… 数据量增加 TB PB ZB EB 根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。 数据结构日趋复杂 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 大数据时代正在来临… 1.大数据起源 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data。 2011年5月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。 1.大数据起源 2.大数据在计算机科学中处于最前沿 定义一：大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理和分析的数据集。 —— 摘自麦肯锡 定义二：在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。 —— 摘自WIKI 定义三： 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。 —— 摘自Gartner 定义四：大数据本质上是数据交叉、方法交叉、知识交叉、领域交叉、学科交叉，从而产生新的科学研究方法、新的管理决策方法、新的经济增长方式、新的社会发展方式等等。 —— 摘自复旦大学朱扬勇教授 3.大数据定义 1.2 大数据特征 大数据的4V特征 大体量(Volume)、多样性(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，简称4V特征。 大体量（Volume) 数据基本单位换算： 1B(byte 字节）= 8b（bit 位） 1KB(Kilobyte 千字节)=1024B 1MB(Megabyte，简称“兆”)=1024KB 1GB(Gigabyte， 简称“吉”，又称“千兆”)=1024MB 1TB(Trillionbyte，简称“太”)=1024GB≈10^3GB 1PB(Petabyte，简称“拍”字节）=1024TB≈10^6GB 1EB(Exabyte，简称“艾”字节）=1024PB≈10^9GB 1ZB(Zettabyte，简称“泽”字节)= 1024EB≈10^12GB 大体量（Volume) 在2006 年，个人用户才刚刚迈进TB 时代，全球一共新产生了约180EB 的数据；在2011 年，这个数字达到了1.8ZB 。而根据知名