《并行计算》课件.ppt

《并行计算》课程简介;课程目标与内容概述;并行计算的重要性与应用;并行计算的基本概念：并行性与并发性;Amdahl定律：理解并行加速的限制;并行计算的粒度：细粒度、中粒度、粗粒度;并行计算的体系结构：共享内存与分布式内存;共享内存体系结构：UMA与NUMA;分布式内存体系结构：集群与网格;并行编程模型：共享内存编程;并行编程模型：消息传递编程;并行编程模型：数据并行编程;线程的概念与创建;互斥锁与条件变量：线程同步机制;信号量：另一种线程同步机制;死锁的概念与避免;线程池：提高线程管理的效率;OpenMP：共享内存并行编程的API;OpenMP指令与子句;OpenMP的并行区域与任务调度;OpenMP的规约操作;MPI：消息传递接口;MPI的基本概念：通信子与进程组;MPI的阻塞与非阻塞通信;MPI的点对点通信：Send与Receive;MPI的集合通信：Broadcast,Gather,Scatter;MPI的规约操作：Reduce;MPI的派生数据类型;CUDA：NVIDIA的并行计算平台;CUDA的体系结构：线程块与网格;CUDA的存储器模型：全局存储器、共享存储器、寄存器;CUDA的编程模型：核函数与线程索引;CUDA的线程同步：__syncthreads();CUDA的规约操作：利用共享存储器;并行算法设计：划分、通信、聚集、映射;并行排序算法：归并排序的并行化;并行搜索算法：二分查找的并行化;并行矩阵乘法：Cannon算法;并行图算法：Dijkstra算法;并行计算的性能评估;加速比与效率;可扩展性：强可扩展性与弱可扩展性;并行计算的调试与优化;性能分析工具：gprof,IntelVTuneAmplifier;内存泄漏与竞争条件的检测;并行计算的应用案例：科学计算;并行计算的应用案例：图像处理;并行计算的应用案例：数据挖掘;并行计算的应用案例：机器学习;未来趋势：异构计算;未来趋势：量子计算;未来趋势：边缘计算;并行计算的挑战：功耗管理;并行计算的挑战：容错性;并行计算的伦理考量;课程总结与回顾;;实验安排与注意事项;答疑环节;感谢聆听！