并行计算实验指南ppt课件.pptVIP

并行计算 实验指南;提纲;实验概述;电子版实验报告要求;纸版实验报告的要求;实验报告提交;注意事项;提纲;实验内容;实验环境;计算任务;单机实现参考;提纲;预备知识;实验1.1： PThread多线程;线程（thread）是进程上下文（context）中执行的代码序列，又被称为轻量级进程（light weight process） 在支持多线程的系统中，进程是资源分配的实体，而线程是被调度执行的基本单元。;线程的生命周期;访问共享变量时产生的冲突;死锁;线程的同步;锁;互斥量（互斥锁）;互斥量;互斥量;POSIX Thread API;程序示例;Pthread线程库;执行 Pthread 线程;Pthread线程的生命周期;Pthread 锁例程;实验1.2： OpenMP;OpenMP概述;OpenMP发展历程;OpenMP编程模型：Fork-Join;OpenMP的实现;编译制导语句（Compiler Directive）;编译制导语句（Compiler Directive）;编译制导-并行域（parallel region）;并行域;并行域示例;编译制导-数据域属性子句;private() ;实验2： Message Passing Interface;Message Passing Interface;Goals of MPI Standard;MPI Basics;MPI starting and finishing;Communicator;Types of MPI Communication;;MPI message protocol;MPI message protocol (Cont.);Message Passing Example;Message Passing Example (Cont.);Message Passing Example (Cont.);实验3： MapReduce Model;;计算问题简单，但求解困难 待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 如何进行并行分布式计算？ 如何分发待处理数据？ 如何处理分布式计算中的错误？ ;MapReduce：大规模数据处理;MapReduce;MapReduce编程模型;map;reduce;MapReduce逻辑过程;并行化;MapReduce的并行执行;整体执行流程;示例：WordCount;map 输出;reduce 的输入;reduce输出;map(String input_key, String input_value): // input_key: document name // input_value: document contents for each word w in input_value: EmitIntermediate(w, 1); reduce(String output_key, Iterator intermediate_values): // output_key: a word // output_values: a list of counts int result = 0; for each v in intermediate_values: result += ParseInt(v); Emit(AsString(result));;倒排索引 (Inverted Index) Algorithm;Inverted Index: Data flow;其他示例;来源于Google 的核心思想。 Hadoop是一个开源的分布式并行计算平台，它主要由MapReduce的算法执行和一个分布式的文件系统两部分组成。 Hadoop起源于Doug Cutting领导开发的Nutch搜索引擎项目的子项目。现在是Apache软件基金会管理的开源项目。;Hadoop工作原理;使用MapReduce思想分析数据;主要参考资料;结束