大规模系统的.ppt

大规模系统的面向过程的性能评测方法研究 刘莹 2004－12 主要内容 背景 问题的提出 国内外研究 已有验证 下一步工作 背景 性能评价的目的——平衡 硬件配置与软件应用和负载的平衡 资源的供需平衡 常用的评价手段 建模 测量 分析 性能评价的学习 大规模系统中的面向过程测试 被测大规模系统的特点 多节点（几个、十几个、几十个） 分布式或者并行系统 多层结构 数据密集、网络密集 大规模系统的测试特点 面向过程的特点 单机环境 vs. 大规模系统 应用简单，模型简单 测试布署相对容易 测试方法相对成熟 问题比较容易定位 硬件环境和应用都比较复杂，系统模型复杂，可控制，可预测、可适应的能力较差 测试环境难于布署和维护 应用差别较大，测试方法相对独立 突发性事件多，失效的不可预测性使问题难于定位。 面向结果 vs. 面向过程 局限于系统实现后的测试 面向结果的测试旨在追求峰值 参数的调优，目的得到更好的峰值 面向全生命周期的测试 面向整个测试过程，不仅包括峰值结果，还有峰值以外的信息 当负载饱和度的变化 监控到的资源特征 结果集更丰富 资源的调优，目的是尽量发现系统设计的隐患，从生命周期的根本调优。 （1）面向全生命周期 （2） 点、线和面的测试区别 传统的测试方法 面向厂商，追求峰值——面向点的测试 Linpack Spec TPC 传统的性能指标 响应时间 吞吐量 实际情况 面向用户，峰值及峰值以外的信息？ 面向过程的测试 实际情况（续） 当负载饱和度一定时，性能是如何得到的？ 测试过程的描述 已知 P表示性能特征集合，pi∈P L表示负载饱和度，li∈L且li+1li M表示节点结合，mi∈M T表示节点类型，T＝{c,s,m,db,…}，mci表示客户端的第i个节点 性能特征集合会因节点类型变化而变化，Pm≠Pdb 则可以用过程X＝F(PT，L，MT，t)描述面向过程的方法。 举例说明： 当T＝s， 表示负载饱和度为lj 时，服务器第k个节点，关于性能特征psi的性能曲线。 Web测试，X(t)表示当发送10000个请求时，第k个WebServer关于响应时间的性能曲线。 图形化表示 （3）结果中包含的信息 传统指标 响应时间 吞吐率 资源供需关系的反映（有待研究） 资源的健壮性 应用系统对资源的 密集度 敏感度 （4）调优 多数性能问题都是设计时留下的隐患 在未知系统设计的情况下，也可以利用资源的分析结果发现系统设计的缺陷 适当调节资源的健壮性、应用对资源的密集度和敏感度 达到面向过程的性能评测的目的 国内相关外研究 面向过程的研究：高生产率 针对某种大规模应用的测试方法 资源健壮性的研究 高生产率的研究 High Productivity (SC’04) “HPC Productivity: an overarching view” Jeremy Kepner, MIT Lincoln Laboratory Providing a new generation of economically viable high productivity computing systems for national security and for the industrial user community. This topic is very new. High productivity Define Reassessment of performance, programmability, portability, and robustness Measure Ratio of Utility/Cost, or execution time/develop time 小结 高生产率是一个新的研究方向 考虑系统从构思、设计到实现，最后成为产品投入使用的全过程 尚不完善，定义、测量、评价？ 面向过程的测试方法属于开发阶段 通过增加少量的测试时间及时发现问题，进而增加大量的系统可利用时间，提高生产率 国内相关外研究 高生产率研究 针对某种大规模应用的测试方法 资源健壮性的研究 Scientific computing Too many scientific computing, such as linpack, chemistry, aviation, etc. Los Alamos National Laboratory Use PACE to help study architecture PACE (A performance modelling tool, performance analysis and characterization environm