大数据技术导论 第1章 概论.pptVIP

大数据应用人才培养系列教材大数据技术导论第一章绪论1.1揭秘大数据1.2Linux概述大数据应用人才培养系列教材1.1揭秘大数据(1)数据产生方式的变革促成大数据时代的来临数据产生方式经历了被动产生?主动产生?自动产生三个阶段（见图1.1）。1.1.1大数据产生历史必然第一章概论产生方式自动的。1.1揭秘大数据(2)云计算是大数据诞生的前提和必要条件图1.2给出云的发展历程。1.1.1大数据产生历史必然第一章概论大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据具有4V特征见图1.3。1.1.2大数据概念和特征1.1揭秘大数据第一章概论Volume美国的国会图书馆5000百度每天处理数据量三、大数据4V特点几点说明Variety75%网络日志、音频、视频、图片、文本等5%数据库等非结构化数据结构化数据20%半结构化数据网页等数据产生得快一台大型粒子对撞机里共有1.5亿个传感器每秒钟发生粒子对撞6亿次仅仅使用十万分之一一年积累25PB的数据1TB的硬盘×25000个剔除99.999%数据处理速度快大数据通过云计算，以上数据储存仅需20分钟共计1PB，速度1G