分布式与并行计算.pptVIP

第一章 引论 * 第一章 引论 * 第一章 引论 * CUDA C 的开发环境 支持CUDA的图形处理器 NVIDIA设备驱动程序 CUDA开发工具箱 标准C编译器 第一章 引论 * Hadoop项目简介 Apache的解决方案 Google云计算 MapReduce BigTable GFS Chubby GFS--HDFS MapReduce--HadoopBigTable--HBase  第一章 引论 * HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 第一章 引论 * Hadoop VS. Google 技术架构的比较 数据结构化管理组件：Hbase→BigTable 并行计算模型：MapReduce→MapReduce 分布式文件系统：HDFS→GFS Hadoop缺少分布式锁服务Chubby HBase MapReduce HDFS BigTable MapReduce GFS Hadoop云计算应用 Chubby Google云计算应用 第一章 引论 * Hadoop集群搭建 一、实验环境 1、n台PC机，Linux操作系统 2、Hadoop安装包（/core/releases.html） 3、安装jdk 1.5以上版本 第一章 引论 * Cloudsim仿真软件介绍 2009年4月8日，澳大利亚墨尔本大学的网格实验室和Gridbus项目宣布推出云计算仿真软件，称为CloudSim。它是在离散事件模拟包SimJava上开发的函数库，可在Windows和Linux系统上跨平台运行 第一章 引论 * Cloudsim的新特点 支持大型云计算的基础设施的建模与仿真 一个自足的支持数据中心、服务代理人、调度和分配策略的平台 提供虚拟化引擎，旨在数据中心节点上帮助建立和管理多重的、独立的、协同的虚拟化服务 在对虚拟化服务分配处理核心时能够在时间共享和空间共享之间灵活切换 第一章 引论 * CloudSim环境配置 JDK安装和配置 CloudSim配置 CloudSim的扩展 第一章 引论 * MPI 介 绍 第一章 引论 * 第一章 引论 * MPI并行进程实现 MPI并行程序设计平台由标准消息传递函数及相关辅助函数构成，多个进程通过调用这些函数（类似调用子程序），进行通信； 一个程序同时启动多份，形成多个独立的进程， 在不同的处理机上运行，拥有独立的内存空间， 进程间通信通过调用MPI函数来实现；每个进程 开始执行时，将获得一个唯一的序号（rank）。 例如启动P个进程，序号依次为0，1，…，P-1； 第一章 引论 * 消息传递是相对于进程间通信方式而言的，与具体并行机存储模式无关， 任何支持进程间通信的并行机，均可支持消息传递并行程序设计；几乎 有共享和分布存储并行计算环境均支持进程间的消息传递通信； 进程0发送一个整数给进程1；进程1将该数加1，传递给进程2；进程2再将 该数加1，再传递给进程3；依次类推，最后，进程N-1将该数传递给进程0， 由进程1负责广播该数给所有进程，并打印输出。 进程 1 传递信息 进程 3 传递信息 进程 2 传递信息 进程 0 传递信息 第一章 引论 * 程序用以下并行C编译器mpcc来编译: 执行下列命令将可执行程序myprog加载到n个节点上: mpcc myprog.c –o myprog mpirun myprog –np n MPI进程是重型的单线进程. 它们拥有不同的地址空间. 因此, 一个进程不能直接访问另一个进程地址空间中的变量. 进程间的通信用消息传递来实现. MPI的编译与运行 * * 第一章 引论 * Amazon Simple Storage Service $.15 per GB per month storage Object-Based Storage 1 B – 5 GB / object Fast, Reliable, Scalable Redundant, Dispersed 99.99% Availability Goal Private or Public Per-object URLs ACLs BitTorrent Support $.10 - $.18 per GB data transfer $.01 for 1000 to 10000 requests 第一章 引论 * Amazon Elastic Compute Cloud