云计算与大数据技术理论及应用-林伟伟、彭绍亮-第6章 大数据技术原理与平台 .pptVIP

清华大学出版社《云计算与大数据技术理论及应用》配套课件林伟伟彭绍亮编著第6章 大数据技术原理与平台

提纲大数据概述大数据存储平台大数据计算模式典型大数据分析管理平台大数据并行计算编程实践大数据研究与发展方向

大数据产生的背景以前传统数据处理中，单个计算机往往性能很强劲，可靠性高但是造价也很昂贵，在当时可以单以一台这样的计算机就处理完所需数据。当今世界，数据日益增长且增长速度日益加快。这其中的数据包括人们在更深入了解自然的过程中所需要的数据以及人类自己在各种社会活动中产生的海量数据。特别是后者，由于计算机在各个领域的使用越来越广泛，越来越多的人类活动可以被计算机转化成数据记录下来，其产生的速度更是日益加剧，这其中包括通信领域中的上网记录、GPS位置记录，医学领域中的手术详细记录，社会保障领域的各种记录等等。现在，数据已经爆炸增长到足以引发全世界的一次技术变革。于是，“第三次浪潮”——大数据技术应运而生。

大数据的定义大数据一词由英文“BigData”翻译而来，是最近几年兴起的概念，他目前还没有一个统一的定义。相对于过去的“海量数据”概念而言，大数据还有一个数据类型复杂多变的特点。互联网上流动的各种数据类型迥异，收集和处理这些数据，特别是非结构化数据也是大数据研究的一个重要方面。简而言之，大数据可以被认为是数据量巨大且结构复杂多变的数据集合。相比于过去的“信息爆炸”