第2章云计算与大数据的相关技术54.pptxVIP

云计算与大数据技术 人民邮电出版社王鹏 黄焱 安俊秀 张逸琴 编著 目 录 CONTENTS第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算第6章　 Hadoop—分布式大数据系统第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统第9章　 服务器与数据中心 第10章 云计算大数据仿真技术第2章　云计算与大数据的相关技术 《云计算与大数据技术》 第2章 云计算与大数据的相关技术 2.1　云计算与大数据 2.2　云计算与物联网 2.3　一致性哈希算法2.3.1　一致性哈希算法的基本原理2.3.2 　一致性哈希算法中计算和存储位置的一致性2.4　非关系型数据库2.4.1　从关系型数据库到非关系型数据库2.4.2　非关系型数据库的定义2.4.3　非关系型数据库的分类2.5　集群高速通信标准InfiniBand2.6　云计算大数据集群的自组织特性2.1　云计算与大数据2.1　云计算与大数据云计算与大数据相比云计算更像是对一种新的技术模式的描述而不是对某一项技术的描述，而大数据则较为确切地与一些具体的技术相关联。目前新出现的一些技术如Hadoop、HPCC、Storm都较为确切地与大数据相关，同时并行计算技术、分布式存储技术、数据挖掘技术这些传统的计算机学科在大数据条件下又再次萌发出生机，并在大数据时代找到了新的研究内容。2.1　云计算与大数据大数据其实是对面向数据计算技术中对数据量的一个形象描述，通常也可以被称为海量数据。云计算整合的资源主要是计算和存储资源，云计算技术的发展也清晰地呈现出两大主题—计算和数据。伴随这两大主题，出现了云计算和大数据这两个热门概念，任何概念的出现都不是偶然的，取决于当时的技术发展状况。李国杰院士认为：“信息系统需要从数据围绕着处理器转改为处理能力围绕着数据转，将计算用于数据，而不是将数据用于计算”。2.1　云计算与大数据海量的数据本身很难直接使用，只有通过处理的数据才能真正地成为有用的数据，因此云计算时代计算和数据两大主题可以进一步明确为数据和针对数据的计算，计算可以使海量的数据成为有用的信息，进而处理成为知识。目前提到云计算时，有时将云存储作为单独的一项技术来对待，只是把网络化的存储笼统地称为云存储，事实上在面向数据的时代不管是出现了云计算的概念还是大数据的概念，存储都不是一个独立存在的系统。特别是在集群条件下，计算和存储都是分布式的，如何让计算“找”到自己需要处理的数据是云计算系统需要具有的核心功能。2.1　云计算与大数据面向数据要求计算是面向数据的，那么数据的存储方式将会深刻地影响计算实现的方式。在分布式系统中实现计算和数据有效融合从而提高数据处理能力，简化分布式程序设计难度，降低系统网络通信压力从而使系统能有效地面对大数据处理的机制称为计算和数据的协作机制。在这种协作机制中计算如何找到数据并启动分布式处理任务的问题是需要重点研究的课题，这一问题被称为计算和数据的位置一致性问题。2.1　云计算与大数据面向数据也可以更准确地称为“面向数据的计算”，面向数据要求系统的设计和架构是围绕数据为核心展开的，面向数据也是云计算系统的一个基本特征，而计算与数据的有效协作是面向数据的核心要求。回顾计算机技术的发展历程，可以清晰地看到计算机技术从面向计算逐步转变到面向数据的过程。从面向计算到面向数据是技术发展的必然趋势，并不能把云计算的出现归功于任何的个人和企业。这一过程的描述如图2.1所示，该图从硬件、网络和云计算的演进过程等方面以时间为顺序进行了纵向和横向的对比。2.1　云计算与大数据图2.1　计算机技术向云计算的演进1969年ARPANET的出现改变了整个计算机技术的发展历史，网络逐步成为推动技术发展的一个重要力量，1989年Tim Berners-Lee发明的万维网改变了信息的交流方式，特别是高速移动通信网络技术的发展和成熟使现在数据的生产成为全球人的共同活动，人们生产数据不再是在固定时间和固定地点进行，而是随时随地都在产生数据。微博、博客、社交网、视频共享网站、即时通信等媒介随时都在生产着数据并被融入全球网络中。到了以网络为核心的时代数据的构成变得非常复杂，数据来源多样化，不同数据之间存在大量的隐含关联性，这时计算所面对的数据变得非常复杂，如社会感知、微关系等应用将数据和复杂的人类社会运行相关联，由于人人都是数据的生产者，人们之间的社会关系和结构就被隐含到了所产生的数据之中。从云计算之父John McCarthy提出云计算的概念到大数据之父Gray等人提出科学研究的第四范式，时间已经跨越了半个世纪。以硬件为核心的时代也是面向计算的时代，那时数据的构成非常简