HPC高性能计算知识-异构并行计算.docx

? ? ? ? ? ? ? ? HPC高性能计算知识: 异构并行计算 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 当摩尔定律还是行业的铁律时，计算机编程几乎一直都是串行的，绝大多数的程序只存在一个进程或线程。大家还过着“我写个程序，性能达不到就睡个觉，等硬件工艺刷新硬件性能，性能就达标了”的美好生活。2003年以后因为工艺达到了瓶颈，你光“睡觉”是不行了。异构并行计算作为重要技术之一承担起了技术变革的重任。 ? ? ? 异构并行计算的本质是把任务分发给不同架构的硬件计算单元(比如说CPU、GPU、FPGA等)，让他们各司其职，同步工作。如同平时工作，把业务中不同类型的任务分给不同的计算资源执行。 ? ? ? 从软件的角度来讲，异构并行计算框架是让软件开发者高效地开发异构并行的程序，充分使用计算平台资源。从硬件角度来讲，一方面，多种不同类型的计算单元通过更多时钟频率和内核数量提高计算能力，另一方面，各种计算单元通过技术优化(如GPU从底层架构支持通用计算，通过分支预测、原子运算、动态并行、统一寻址、NIC直接访问显存等能力)提高执行效率。? ? ? ? 异构计算(Heterogeneous Computing)在80年代中期就已产生，其定义更加宽泛。异构计算主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式。常见