施特拉森矩阵乘法的通信成本.pdfVIP

DOI:10.1145/2556647.2556660 施特拉森矩阵乘法的通信成本 作者： Grey Ballard 、 James Demmel 、Olga Holtz 与 Oded Schwartz 摘要 这些下界最近针对密集和稀疏矩阵，以及针对串行 在历史上，算法一直以其所执行的算术运算量加以评 机和并行机，扩展成另外一大类经典线性代数问题，包 估。但是，这种分析方法不再胜任对当代计算机运行 括线性方程组求解、最小二乘问题以及特征值问题。9 时间的预测。在存储器各层之间以及在处理器之间传 出人意料的是，在 LAPACK 和 ScaLAPACK 等广泛实施 输数据所需的时间（和能量）远多于执行计算。硬件 的数学库3 中，经高度优化的算法往往无法得出这些 趋势预示着，这种通信的相对成本将只升不降。因此， 下界，就连渐近的结果都得不出。为发明能够得出此 证明算法的通信下界以及找出求出这些边界的算法已 类下界的更新、更快算法，研究人员在近期做了大量 工作；参见 Ballard 等人著作9, 10 中的引文以作参考。 成为基本目标。我们证明了，算法的通信成本与其对 在本文中，我们描述了一种新颖的方法，以为施 应计算图的图形扩张特性密切相关。 特拉森的 (nlog 7) 矩阵乘法算法和很多类似高速算法 Θ 2 矩阵乘法是最基础的科学计算和并行计算问题之 证明第一通信下界。具体而说，我们对各算法的计算 一。通过将扩张分析应用于施特拉森和其他高速矩阵 图形进行扩张分析，并证明扩张有助于确定通信成本。 乘法算法，可得到这些算法的通信成本的第一下界。 这些通信成本边界低于经典矩阵乘法的成本边界：这 这些边界表明，当前串行算法是最优的，但是先前并 意味着，施特拉森算法不仅减少计算量，而且还创造 行算法存在不必要的通信。我们的新的并行施特拉森 出减少通信量的机会。此外，下界随可用存储器数量 算法达到了通信最优状态，并优于以往所有矩阵乘法 的增长而降低，这表明增加存储器也可能实现更快的 算法。 算法。 事实上，存在为不同量级存储器得出下界的最优 并行算法，当在大型并行机上时，其性能超过所有其 1. 序言 他已知的矩阵乘法实现，无论是经典算法，还是施特 通信（即移动数据）在算法成本中的占比可能十分高， 拉森类算法6 ，参见图 1 。在本文的其余部分中，我们 无论以运行时间来计，还是以总能耗来衡量都是如此。 将着重解释施特拉森算法的新下界及其意义。 这一说法既适用于在存储器各层之间移动数据，也适 用于通过网络在不同的处理器之间移动数据。每个数 1.1. 通信模型 据单位的通信时间因存储层级不同而差距甚大，从 L1 为分析算法的通信成本，我们将考虑理想状态下的存 （一级）缓存的 10-9 秒级到磁盘访问的 10-2 秒级。当 储器和通信模型。在串行情况（参见图 2 ）中，我们 通信通过网络或者互联网发生时，通信时间差异可能 设想一台具有两级存储器层次的机器：一个大小为M 更为显著。事实上，相对于运算成本而言，技术的发 个字的高速存储器（执行计算的所在）和一个无限大 展趋势16, 17 正随着时间的推移令通信成本呈指数式增 的低速存储器。我们假设输入数据最初驻留在低速存 长。摩尔定律正使芯片的运算能力以每年约60% 的速 储器中，而且输入数据因太大而无法完全载入高速存