并行计算课程算法实践教学的新工具CUDA编程模型.pdf

学科建设与教学改革 Computer Education 文章编号：1672-5913(2008)23-0103-04 “并行计算”课程算法实践教学的新工具：CUDA 编程模型 1 2 王智广 ，刘伟峰 (1．中国石油大学(北京)计算机科学与技术系，北京 102249； 2．中国石油化工股份有限公司石油勘探开发研究院信息技术研究所，北京 100083) 摘 要：本文首先从当今多核微处理器的发展趋势出发，介绍适用于多核微处理器的细粒度并行编程模型 CUDA ，以及其适用于“并行计算”课程教学的一系列优势，接着对当前可用的几种并行编程模型进行分析 和比较，最后给出采用 CUDA 编程模型的一个矩阵与矩阵相乘的教学实例。 关键词：并行计算；实践教学；CUDA 中图分类号：G642 文献标识码：B 1 计算”课程教学的一系列优势，并给出对几种主流并行编 程模型与 CUDA 的分析和比较，最后提供一个基于 CUDA 1998 年，教育部高等学校计算机科学与技术教学指导 的矩阵与矩阵相乘程序作为教学实例。 委员会将“并行计算”课程定位在高等学校计算机专业高 2 年级本科生或研究生以及面向计算学科的非计算机专业 的研究生层次上。“并行计算”课程一般主要包括以下四 过去的 20 年间，提高运行频率是 CPU 性能提高的主 个层面：(1)在算法理论层面主要讲授可计算性与计算复杂 要方式，然而，自 2003 年以来，这种趋势发生了变化， 性以及算法研究的数学基础；(2)在体系结构层面主要讲授 不断提高的 CPU 频率带来了高功耗和高发热量，使得主流 并行计算机体系结构；(3)在算法设计层面主要讲授计算机科 CPU 频率止步于 4 GHz ，并向单芯片多处理器(Chip Multi 学及其他科学计算领域中的非数值和数值并行算法；(4)在算 Processors, CMP) ，即多核方向发展。2005 年，Intel 和 AMD 法实践层面主要讲授基于并行编程模型的并行算法编程。 正式向主流消费级市场推出了双核心的 CPU 产品，2007 实际上，对于大多数学习“并行计算”课程的非并行 年推出了 4 核心的 CPU，按照各厂商的发展路线图，今后 计算研究方向的学生来讲，第(4)层面，即算法实践是课程 大约每 2 年单 CPU 上的核心数将翻番。但由于市场变化 最具价值的组成部分。将并行算法实现成程序并投入大规 和研制成本的原因，多核 CPU 的每个核都基于以往 CPU 模科学与工程计算生产应用是课程的最主要学习目的之 的单核设计，保留了如乱序执行等很多单核时代的复杂 一。其中对于编程模型的选择又是算法实践教学的重要前 执行方式，使得其对于科学计算等问题的计算能力提高非 提。以往“并行计算”课程在算法实践教学中大多采用 常有限。 MPI 作为编程模型，可 MPI 的粗粒度特性不仅不足以满足 此时，以游戏加速和图形处理为初衷设计的 “并行计算”课程的实践需要，还很难利用当前多核微处 GPU(graphics processing unit, 图形处理器) 以超出摩尔定 理器的硬件细粒度优势。 律的速度发展，并开始在非图形的高性能计算领域被大量 本文从当今多核微处理器的发展趋势出发，介绍适用 使用。图 1 为近年