云计算与大数据技术王鹏黄焱安俊秀张逸琴第1章-云计算与大数据基础上课用课件.ppt

云计算与大数据技术 目 录 CONTENTS 第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算 第6章　 Hadoop—分布式大数据系统 第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统 第9章　 服务器与数据中心 第10章 云计算大数据仿真技术 第1章　云计算与大数据基础 《云计算与大数据技术》 第1章　 云计算与大数据基础 1.1　云计算技术概述 1.1.1　云计算简介 1.1.2　云计算的特点 1.1.3　云计算技术分类 1.2　大数据技术概述 1.2.1　大数据简介 1.2.2　主要的大数据处理系统 1.2.3　大数据处理的基本流程 1.3　云计算与大数据的发展 1.1.1　云计算简介 云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型 云计算并不是对某一项独立技术的称呼，而是对实现云计算模式所需要的所有技术的总称。 1.1.1　云计算简介 云计算技术的内容很多 包括分布式计算技术、虚拟化技术、网络技术、服务器技术、数据中心技术、云计算平台技术、存储技术等。 从广义上说，云计算技术几乎包括了当前信息技术中的绝大部分。 1.1.1　云计算简介 维基百科中对云计算的定义为： 云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。 2012年的国务院政府工作报告将云计算作为国家战略性新兴产业给出了定义： 云计算是基于互联网的服务的增加、使用和交付模式，通常涉及通过互联网来提供动态、易扩展且经常是虚拟化的资源。 云计算是传统计算机和网络技术发展融合的产物，它意味着计算能力也可作为一种商品通过互联网进行流通。 1.1.1　云计算简介 云计算技术的出现改变了信息产业传统的格局。 传统的信息产业企业既是资源的整合者又是资源的使用者； 这这种格局并不符合现代产业分工高度专业化的需求，同时也不符合企业需要灵敏地适应客户的需要。 1.1.1　云计算简介 传统的计算资源和存储资源大小通常是相对固定的，面对客户高波动性的需求时会非常的不敏捷，企业的计算和存储资源要么是被浪费，要么是面对客户峰值需求时力不从心。 云计算技术使资源与用户需求之间是一种弹性化的关系，资源的使用者和资源的整合者并不是一个企业，资源的使用者只需要对资源按需付费，从而敏捷地响应客户不断变化的资源需求，这一方法降低了资源使用者的成本，提高了资源的利用效率。 1.1.1　云计算简介 云计算时代基本的3种角色： 资源的整合运营者、资源的使用者、终端客户。 资源的整合运营者就像是发电厂负责资源的整合输出； 资源的使用者负责将资源转变为满足客户需求的各种应用； 终端客户为资源的最终消费者。 1.1.1　云计算简介 云计算这种新的模式的出现被认为是信息产业的一大变革，吸引了大量企业重新布局： IBM、微软、谷歌、DELL等企业 国内企业：华为、中兴、腾讯、阿里、联想、浪潮、五舟等企业 1.1.1　云计算简介 云计算技术作为一项涵盖面广且对产业影响深远的技术，未来将逐步渗透到信息产业和其他产业的方方面面，并将深刻改变产业的结构模式、技术模式和产品销售模式，进而深刻影响人们的生活； 云计算会逐步成为人们生活中必不可少的技术； 1.1.1　云计算简介 移动互联网的出现使云计算应用走向了人们的指间，推动了云计算技术的应用发展，今后云计算将是一项随时、随地、随身为我们提供服务的技术； 云计算的出现也将如电的出现一般，为信息产业的发展提供无限的想象空间，使应用的创新能力得到完全释放。 1.1.2　云计算的特点 1.1.2　云计算的特点 1．资源池弹性可扩张 2．按需提供资源服务 3．虚拟化 4．网络化的资源接入 5．高可靠性和安全性 1.1.2　云计算的特点 与传统的资源提供方向相比，云计算具有以下特点： （1）资源池弹性可扩张 云计算系统的一个重要特征就是资源的集中管理和输出，这就是所谓的资源池。从资源低效率的分散使用到资源高效的集约化使用正是云计算的基本特征之一。 分散的资源使用方法造成了资源的极大浪费，现在每个人都可能有一到两台自己的计算机，但对这种资源的利用率却非常的低，计算机在大量时间都是在等待状态或是在处理文字数据等低负荷的任务。 资源集中起来后资源的利用效率会大大地提高，随着资源需求的不断提高，资源池的弹性化扩张能力成为云计算系统的一个基本要求，云计算系统只有具备了资源的弹性化扩张能力才能有效地应对不断增长的资源需求。 大多数云计算系统都能较为方便地实现新资源的加入。 1.1.2　云计算的特