云计算导论第三章.pptxVIP

云 计 算 导 论 主讲老师： 云计算中的数据 处理技术 第三章 云计算中的数据处理技术 数据处理一直是计算机科学研究的重要课题。作为一个复杂的系统，云计算系统的发展过程就是其数据处理技术不断完善和进步的过程。 本章导读 学习目标 了解大数据的概念及其与云计算的关系。 理解分布式系统的概念。 理解分布式数据存储的概念及为其提供技术支持的分布式文件系统。 理解并行编程技术。 了解数据管理技术。 认识Apache Hadoop项目。 云计算与大数据 分布式数据存储 并行编程技术 实例-Apache Hadoop项目 数据管理技术 云计算与大数据 大数据（big data）也称海量数据或巨量数据，是指数据量大到无法利用传统的数据处理技术在合理的时间内获取、存储、管理和分析的数据集合。“大数据”一词除用于描述信息时代产生的海量数据外，也可用于指代与之相关的技术、创新与应用 3.1.1 什么是大数据 海量的数据规模（volume） 快速的数据流转（velocity） 多样的数据类型（variety） 较低的价值密度（value） 4V 特 征 大数据技术是指用非传统的方式对大量结构化和非结构化数据进行处理，以挖掘出数据中蕴含的价值的技术。根据数据的处理流程，可以将大数据的关键技术分为： 数据采集、数据预处理、数据存储与管理、数据分析与挖掘、数据可视化等。 云计算与