云计算技术与大数据处理技术.pptVIP

云计算技术与大数据处理技术

主要内容

第一部分：云计算与大数据技术简介

简要介绍云计算和大数据技术的发展背景、主要技术特点、现状与趋势

第二部分：大数据研究涉及的层面和主要研究内容

主要介绍大数据研究所涉及的各个层面以及各层面下的主要研究内容和热点问题

第三部分：大数据并行处理技术研究

简要介绍在大数据方面所开展的一些工作

第一部分

云计算与大数据技术简介

云计算发展的背景

从计算模式的演变看计算技术发展的趋势

计算技术发展的历史就是不同层面上计算模式发展和演变的历史；而相关支撑技术的成熟为计算模式的演变和实现提供了基础和条件

计算模式的演进过程是受到一定的发展规律支配的，存在一定的必然性

云计算发展的背景

从计算模式的演变看计算技术发展的趋势

计算模式变革的两大根本目标：

更方便快捷的使用方式

更强大的计算能力

在提供更强大计算能力的同时，提供更加方便快捷的使用方式，是贯穿整个计算技术发展的主线

云计算发展的背景

60-70’s:大型机(mainframe),

集中式、分时共享

80-90’s:个人计算机人手一台

95-06:互联网/网格/集群

/数据中心

“天下大势，合久必分，分久必合”

“否定之否定，螺旋式上升”

从计算模式的演变看计算技术发展的趋势

云计算发展的背景

60-70’s:大型机(mainframe),

集中式、分时共享

IBM创始人托马斯·沃森

(ThomasJ.Watson):

“我认为全球大概只需要五台计算机就够了。”

60年代，比尔盖茨读中学时需要以每小时40美金的费用租用大型机终端做程序设计。

从计算模式的演变看计算技术发展的趋势

云计算发展的背景

80-90’s:个人计算机(PC)人手一台

因此，比尔盖茨产生了一个伟大的梦想：

“让每一张桌子上有一台电脑！”

这个梦想成就了微软，推动了个人计算时代的来临。

比尔盖茨，1981年表示：

“640KB内存应该对任何人都够用了。”

1980年微软开发DOS时曾认为：“DOS只能管理1MB的空间，因为我们无法想象还有什么应用软件会需要更多的内存。”

从计算模式的演变看计算技术发展的趋势

云计算发展的背景

95-06:互联网/网格/集群/数据中心

分离的PC需要互连以交换信息共享资源互联网

连接更多的计算资源以解决大的计算问题网格计算

用很多微处理器构建具有大型机处理能力的系统集群

很多的集群存储处理大量的信息数据中心

Yahoo，Amazon，Google……

从计算模式的演变看计算技术发展的趋势

云计算发展的背景

2006年至今“更分散同时也更集中”

前端更加分散：2006年后，一方面前端更加分散，以智能手机和IPad为代表的智能移动终端，推动移动计算技术发展

“PC太大了，每个人口袋里应该放一台！”

传感网络、普适计算、物联网概念和技术

“每一粒沙子都应该是一台计算机！”

从计算模式的演变看计算技术发展的趋势

移动计算和物联网

云计算发展的背景

2006年至今“更分散同时也更集中”

后端更加集中：另一方面，后端更加集中，出现云计算概念和技术，让计算成为像水电一样的公共服务，便于资源共享，以及提供超大的计算能力

从计算模式的演变看计算技术发展的趋势

云

计

算

云计算发展的背景

从计算模式的演变看计算技术发展的趋势

从信息处理及其模式看物联网的发展

信息是物理世界中对象和事物状态属性的抽象和表示

信息处理是借助于计算机对信息进行加工处理的过程

信息处理完成后将反作用于物理世界中的对象和事物

计算物理世界

信息

云计算发展的背景

从计算模式的演变看计算技术发展的趋势

从信息处理及其模式看物联网的发展

按照从物理对象获取和反馈信息的方式和对象与计算系统之间的耦合度，信息处理可分为4种模式：

早期计算模式主要是离线获取、离线反馈的松耦合模式，信息处理和使用的效率不高

离线获取

在线反馈

云计算发展的背景

从计算模式的演变看计算技术发展的趋势

从信息处理及其模式看物联网的发展

而现在越来越强调对物理对象信息处理的普遍性、时效性和方便性，因此越来越需要在线获取和在线反馈的紧耦合模式，这就产生“物联网”的概念和计算模式

人作为物理世界中一类特殊对象、以及控制和使用计算系统的主体，如果我们综合考虑人、计算系统和物理世界对象三者间的交互作用，这就产生“人机物系统”的概念和计算模式

云计算发展的背景

从计算模式的演变看计算技术发