并行程序设计Chapter-2H.pptVIP

第二章 共享存储程序设计;从程序员视角看，并行体系结构主要分为两类： 共享存储(shared-memory)系统 典型平台： - 基于多核处理器的计算机 - SMP及NUMA体系结构计算机 ② 消息传递(message-passing)系统 - 机群系统;几种主流的并行编程接口;2.1 OpenMP;2.1 OpenMP;2.1 OpenMP;2.1 OpenMP;进程与线程 进程(process) 程序在数据集合上的一次运行 是系统资源分配和调度的单位 进程与程序之间有关联又有区别，进程是动态概念，程序是静态概念 线程(thread) 又称为轻量级进程(LWP—light weight process) 线程是进程中的一个实体，是操作系统调度的基本单位 进程与线程比较 进程是资源分配的单位，线程是处理器调度的单位 不同进程拥有独立的内存地址空间 由操作系统和处理器的虚拟存储机制实现 避免进程间相互干扰，保证系统稳定性和安全性 进程之间的交互需要通过操作系统提供的进程间通信机制进行 属于一个进程的多个线程共享该进程的资源 内存地址空间(变量)、文件、…;主流通用操作系统的线程调度 基于优先级的时间片轮转调度 当有处理器空闲时，操作系统从就绪(Runnable)线程队列中选择线程运行 线程按时间片(time slot)轮流调度执行 当线程运行时间片满时，转入就绪状态 线程运行过程中，执行I/O、加锁等操作时，转入阻塞状态 当线程等待的事件发生时，由阻塞状态转入就绪状态，等待调度执行 运行(Running)、阻塞(Blocked)和就绪(Runnable)状态的线程 处于就绪状态的线程按优先级排入不同队列，操作系统优先从优先级队列中调度线程执行;2.1 OpenMP;三、工作共享 有三种构造：sections、for和single sections构造(construct) #pragma omp sections { #pragma omp section structured_block #pragma omp section structured_block …… } 各结构块将在组内的线程间共享，每个结构块执行1次，结构块可并行 并不创建线程组，线程组在parallel时创建 在结束处有一个隐含的barrier，除非该构造包含nowait子句;2.1 OpenMP;2.1 OpenMP;五、同步(1/2) critical #pragma omp critical [name] structured_block 一次只允许一个线程执行structured_block 一个线程执行过程中，其他要执行该块的线程??等待直到其退出该块 atomic #pragma omp atomic expression_statement 高效地实现临界区，它要求是一个表达式语句，如更新一个共享变量;五、同步(2/2) barrier #pragma omp barrier 线程到达时将等待直到所有线程都到达;2.1 OpenMP;2.1 OpenMP;2.1 OpenMP;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;线程创建与销毁示例;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;2.2 POSIX Threads;防止死锁的方法一：锁的层次结构 在资源分配图中避免出现回路 对锁进行排序，要求所有线程必须以相同的顺序请求锁 称为锁的层次结构，可防止出现回路 要求程序员预先知道线程需要获得哪些锁 ?;2.2 POSIX Threads;C++实现的管程形式的约束缓冲区;六、安全性问题 在管程中加入不变式(invariant) 不变式是指进入时为真，退出时必须恢复的属性 线程进入管程后，不变式可能被破坏，但必须在退出时恢复 例：在约束缓冲的例子中，有1个不变式 put和get之间的距离必须小于缓冲区大小;2.2 POSIX Threads;2.2 POSIX Threads;例：两个共享变量x和y ，要实现互斥访问;多读者-写者的示例程序 访问共享变量的简单方法：无论读/写均加锁 ? 多个读者之间也将互斥，性