挑战5-performance_1658066.pptVIP

* * * 编译器工作流程 * * 挑战4：性能预测 基于LIVE变量通信模式提取 想法: 基于LIVE变量的通信模式提取 例子: A = B + C If A isLive ? B, C live 继续遍历UD chain (B, C) If (A C)  MPI_Send(buf, size, tag…) If size, tag isLive ? A, C live 遍历UD chain (A, C) * * 挑战4：性能预测 工作流程 把必须的通信变量标记为LIVE 通信大小，通信域ID，源、目的地址，通信TAG等； 分析程序的依赖关系 建立变量之间的DU和UD数据链 分析程序的控制依赖 分支，循环 构建整个程序的Call graph 遍历Call graph，分析每个PU的LIVE集合 根据上面分析结果 删除不相关语句 修改符号表 (删除不需要的数组变量) * * 挑战4：性能预测 具体的算法 * Collect essential variable from the communication statements. Put these variables into LIVE set. Comm Size, src/det, COMMID etc. Collect the information about dependence of each statement Build D-U and U-D chain. Analyze control dependence. Build call graph of whole program, traverse the call graph for each PU. If a variable is LIVE, the variable which depended on is also put into LIVE set. Put UD chain into LIVE set. If a formal parameter is LIVE, and then the actual parameter in caller routine is also LIVE Iterative solving this data flow equations until the LIVE set is not changed. Delete unnecessary statement and variables If a statement is a definition for LIVE variable, mark it TRUE. If a branch or loop include a TRUE statement, mark it TRUE. Delete all of unmarked statements. Modify the symbol table for unused scalar and array variables. * 挑战4：性能预测 Sweep3D程序 Sweep3D程序： ASCI基准测试程序之一 解决三维粒子运输问题 具有复杂的同步行为 右图是它的通信行为 * * 挑战4：性能预测 实验平台 目标平台: Itanium2 1.3GHz Processor Infiniband network Mvapich-0.9.2 Trace收集平台: 4-way Quad core 2.4GHz Xeon 12 GB memory size One node 计算时间获得: 2 nodes in target cluster 通信库: MPICH2-1.0.5 Modify MPI_Send MPI_Recv calls 问题规模: 100*100*100 Mk=10 Mmi=3 Weak scaling * * 挑战4：性能预测 实验结果 * Num of Pro Original (MB) Simplified (MB) 8 1248 24.8 16 2592 49.6 32 5568 99.2 64 12224 198.4 Memory usage of Sweep3D 8 8 10 3 16 800 800 100 6 1 .1 .1 .1 -12.0 0 0 0 0 1 -7 * 挑战4：性能预测 结论和下一步工作 大规模并行程序的性能预测是一个复杂的问题 我们采用结合编译器和模拟器实现性能预测 提出基于Live变量的通信模式自动提取方法 可以在小规模系统上得到更大规模的通信模式 利用现有的万亿次机器来预测将来设计的系统 下一步工作： 研究如何获得精确的计算时间在小规模的系统上对大规模的并行程序 * * 挑战4：性能预测 谢