计算机新技术.ppt

计算机新技术学术讲座 报告人：黄 超 个人简介 复旦大学计算机软件与理论 博士 东南大学电子商务系 副教授 东南大学经济决策与信息管理研究所 副所长 主要研究方向： 数据库/数据仓库、数据挖掘与知识发现、智能信息处理。已在国内外计算机类核心期刊发表论文十余篇，其中多篇论文被EI检索。 研究课题： 数据挖掘应用平台研制及应用 （国家863项目） 智能交通数据挖掘平台（信息产业部攻关项目） 环球多市场金融信息平台（上海市科委攻关项目） 主要内容 计算机硬件与互联网技术 计算机软件技术 智能信息处理技术 计算机硬件与互联网技术 集群计算技术 网格计算技术 普适计算 本体论与语义网络 集群计算技术 什么是集群 集群是使用两台或两台以上的服务器组成的服务器集合，用以提供高性能的不停机服务，每台服务器均承担部分计算任务和容错任务，但是整体上表现为一个单一系统。 与传统的并行计算模型相比，集群中各节点的复杂度中等，但是在单一系统映像、可靠性和可伸缩性上更优越。由于集群大多使用标准的商用部件，因此能够大幅度降低企业成本，如下页表所示。 集群计算技术 集群计算技术 集群系统的组成部分 后台共享存储设备 集群内部网络通讯 公共网络 虚拟的前台界面 无虚拟内存的的集群系统 为了进一步提高集群系统的效率，使用高速网络将各主机的内存连接起来，当一个任务的内存不够时，它可以通过远程缺页的方式使用远程结点的内存，这样可以通过高速网络共享全局内存。 集群计算技术 无虚拟内存集群系统的难点 整个资源的分配概念发生了变化，它是基于内存的资源分配； 一个结点可能需要访问另外一个结点的内存，这就需要解决结点内存的所有权和自治问题； 需要解决全局内存管理问题（集中式还是分散式），通过全局内存管理，应能达到减少网络流量，降低延迟和数据本地优化的目的。 目前的操作系统还没有实现上述的处理，我们需要重构操作系统以方便内存资源共享。 集群计算技术 集群的分类 科学计算集群 该集群主要用于大规模数值计算，解决复杂的科学问题。这种集群上一般运行专用软件，能够将数据分布到不同的服务器上进行解决。针对不同的科学计算任务，一般有以下两种方式： 任务分片方式：将任务分成多个子任务并分配到各节点，每个节点单独运行出结果，最后汇总计算结果； 并行计算方式：各个节点可以进行具有强藕合关系的运算，运算中交换大量数据。 集群计算技术 负载均衡集群 该集群的目的是使负载尽量在各个节点中均衡分布，如计算负载、网络流量负载等。 高可用性集群 该集群的目的是使服务系统的运行速度和响应速度尽可能快，通过将程序运行在冗余节点上，集群具有更好的容错性。 高可用性集群可以分为主从方式、双机备份方式和多机备份方式。 集群计算技术 并行数据库集群 近年来兴起的集群类型，同时具有并行计算、高可用性和负载均衡等多种特征，主要用于高端数据库领域，如Oracle RAC和 IBM DB2 EEE。 Oracle RAC系统每台主机拥有独立的CPU和内存，但是共享磁盘空间，主要针对于大量用户并行的访问，I/O冲突采用数据库的锁机制解决； DB2 EEE中各计算机拥有独立的CPU、内存和磁盘，并且高速相连，对每一次访问，每个节点查询本地表中的相应结果，返回给协调程序，最后汇总成最终查询结果。 网格计算技术 网格的基本概念 什么是网格（GRID） 网格是以Internet技术和分布计算技术为基础，将地理上分散的各类计算资源、存储资源、数据资源、应用资源、仪器设备等构成统一的虚拟环境，采用开放标准的协议，实现资源的有效共享，为动态参与的、由多机构所形成的虚拟组织协同完成高性能计算、信息处理等各类应用，提供可扩展的、安全的、一致的、不同等级质量的服务。网格是集群系统的进一步发展。 网格计算技术 网格计算的产生背景 分布式计算、高性能计算、大规模的资源共享、协同工作、数据密集型的科学计算。 网格的本质特征是 分布与资源共享 高度抽象 自相似 动态性和多样性 高可扩展性 网格计算的示例（见下页图所示） 网格计算技术 网格计算技术 网格的系统结构（见下页图所示） 网格结点：地理上独立的计算和信息中心，由Internet 上孤立、异构的各类资源组成； 网格中间件：网格体系结构的核心部分，其功能是屏蔽网格资源层中计算资源的分布、异构性，向网格应用层提供透明、一致的服务接口，如远程进程管理、资源分配、存储访问和安全控制等。 网格应用工具层：提供更为专业化的服务和组建不同类型的应用。 网格应用层：应用层包括各种应用软件的研究、高速网格的建设等，它可以使用户方便地共享网格中的各种资源。 网格计算技术 网格计算技术 典型的网格系统（1）——Globus系统 什么是Globus Globus