一种基于迭代聚类的并行应用性能分析方法-上海超级计算中心.PDFVIP

50 《高性能计算发展与应用》 2013年第二期 总第四十三期 一种基于迭代聚类的并行应用性能分析方法  朱 鹏李 巍李云春 北京航空航天大学 网络技术北京市重点实验室 北京 100191cookpan001@ 摘要： 随着超级计算机的发展，其使用到的核心数逐渐达到数十万，而且运行于其上的应用的复 杂性也不断加大。因此，开发人员需要对并行应用的性能进行测量，并做出分析，以便对程序 源码进行优化，提高程序的执行效率.但是由于核心数的大量增加，对并行程序性能进行测量将 得到海量的性能数据,如何处理海量性能数据，以便分析并行程序性能成为一个难点，文章介绍 了一种基于迭代聚类的并行应用性能分析方法，该方法使用数据挖掘的聚类算法处理处理海量 性能数据，并可以根据条件迭代执行，确定影响并行程序性能的函数和进程，然后通过贝叶斯 信息准则评价聚类结果，以确定迭代聚类的可靠性，最后用实验证明了方法的有效性。 关键词：海量数据，并行应用，聚类分析，性能测量，性能分析 随着超级计算机的发展,其使用到的核心数达到 第3节为实验分析。第4节总结全文并提出下一步研 数十万，IBM的RoadRunner核心数有122400个，而 究工作。 Cray XT5使用的计算核心更是达到了224162个，而且 运行于其上的应用的复杂性也不断加大，其复杂性 1. 相关研究 和规模使程序的运行效率难以达到预期。因此，开 [1,2,3] SimPoint是用来查找并行程序合适的模拟 发人员需要对并行应用进行监测,获得丰富的性能数 点，即能够表征程序性能的若干程序段，减少多 据，并做出分析，以便对程序进行优化,提高执行效 次重复对程序进行模拟运行，以分析程序的性能问 率，达到提高程序性能的目的，因此，如何处理海 题。该项目将应用程序的行为表征为一个基本块向 量性能数据成为了一个难点。 量,在基本块向量中的每一维表示某一段代码运行时 数据挖掘试图从海量数据中找出有用的信息， 间的百分比。然后将程序的执行过程沿时间轴分成 并可以对海量数据进行处理和分析，针对并行应用 若干小段，小段之间进行对比，使用k-means算法 性能监测得到的海量性能数据，随着超级计算机的 [4] 进行聚类总结。SimPoint中将程序分成若干基本块 大规模并行程序的应用，只使用人工可视化工作 向量，每一维代表一段代码执行时间比例。在基本 来进行性能分析，变得很不现实。而借助数据挖掘 块向量中的每一维表示某一段代码运行时间的百分 算法，可以减少性能数据的规模、发现性能数据之 比。不过没有从进(线)程角度考虑，即没有考虑并行 间的关系，大大提高性能分析的效率，减少了人工 应用程序的各个进(线)程在执行过程中的差异性。 分析的复杂度。聚类分析是一种探查数据结构的工 [5,6] TAU中提供了一个用于复杂性能分析的工具 具，聚类分析的核心是聚类，即将对象划分