第十章 依赖于机器的优化教案.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 10.6 并行性和数据局部性优化概述 10.6.3 循环级并行 for (i = 0; i n; i++) { Z[i] = X[i] ? Y[i]; Z[i] = Z[i] ? Z[i]; } // 变换成如下代码 b = ceil (n/M); // M个处理器, p = 0, 1, …, M ?1 for (i = b?p; i min(n, b?(p+1)); i++) { Z[i] = X[i] ? Y[i]; Z[i] = Z[i] ? Z[i]; } // 数据并行的例子 10.6 并行性和数据局部性优化概述 10.6.3 循环级并行 对并行化来说，任务级不像循环级那样有吸引力 对一个程序而言，独立的任务数是一个常数，它不像典型的循环那样，独立的计算单元随迭代次数增加而增加 任务通常不是等规模的，因此很难保证所有的处理器在所有时间都处于忙碌 10.6 并行性和数据局部性优化概述 10.6.4 数据局部性 程序局部性 大多数程序的大部分时间在执行一小部分代码，并且仅涉及一小部分数据 时间局部性 程序访问的内存单元在很短的时间内可能再次被程序访问 空间局部性 毗邻被访问单元的内存单元在很短的时间内可能被访问 10.6 并行性和数据局部性优化概述 10.6.4 数据局部性 同一个缓存行上的元素一起被使用的情况是空间局部性的一种重要形式 这种空间局部性将缓存未命中降到最低，因此使得程度获得明显的加速 10.6 并行性和数据局部性优化概述 10.6.4 数据局部性 for (i = 0; i n; i++) { // 该程序段对向量机来 Z[i] = X[i] ? Y[i]; // 说是一种优化形式 } for (i = 0; i n; i++) { Z[i] = Z[i] ? Z[i]; } for (i = 0; i n; i++) { // 有较好的数据局部性 Z[i] = X[i] ? Y[i]; Z[i] = Z[i] ? Z[i]; } 10.6 并行性和数据局部性优化概述 10.6.4 数据局部性 对行为主的数组Z，根据空间局部性，显然更愿意逐行地给该数组元素置零 for (j = 0; j n; j++) for (i = 0; i n; i++) for (i = 0; i n; i++) for (j = 0; j n; j++) Z[i, j] = 0; Z[i, j] = 0; 为了获得最好的性能，应该并行化外循环 b = ceil (n/M); for (i = b?p; i min(n, b?(p+1)); i++) for (j = 0; j n; j++) Z[i, j] = 0; 10.6 并行性和数据局部性优化概述 10.6.4 数据局部性 操作在数组上的数值应用的几个重要特征 数组代码经常有许多可以并行化的循环 当循环有并行性时，它们的迭代可按任意次序执行，因而可重新安排计算次序以彻底改进数据局部性 在创建相互独立的并行计算大单元时，串行执行这些单元往往会产生较好的数据局部性 10.6 并行性和数据局部性优化概述 10.6.5 矩阵乘法算法 该算法是计算密集型的，原则上内存访问不应该构成瓶颈 假定矩阵的布局是行为主 假定正好c个数组 元素能够放满一个 缓存行，X的一行仅 散布在n/c个缓存行上 假定缓存足以放下X所 有的缓存行，读入X出 现n2/c次缓存未命中 for (i = 0; i n; i++) for (j = 0; j n; j++) { Z[i, j] = 0.0; for (k = 0; k n; k++) Z[i, j] = Z[i, j] + X[i, k] ? Y[k, j]; } 10.6 并行性和数据局部性优化概述 10.6.5 矩阵乘法算法 先考虑在