基准测试程序.PDF

基准测试程序 (Benchmarks) 詹剑锋 中科院计算所 2013年6月17日 内容  什么是Benchmark?  常见Benchmark  如何评价高性能计算机  如何评价处理器？  如何评价OLTP系统？  文件系统/数据库？ Why benchmarking?  “If you cannot measure it, you cannot improve it”.  Lord Kelvin 为什么第一讲要讲Benchmark ？  Benchmark是研究问题的Setup。  可以借助Benchmark实现solution 。  评价和比较方法好坏的基准。  选择Benchmark 的代表性和多样性直接决 定研究的深度  副产品:发表论文的水平。 什么是基准测试程序？  基准测试程序指一组(性能)测试程序  它能刻画应用负载的计算处理、数据移动等行 为特征  测试和预测系统的性能  对不同的系统的优缺点给出评价。 合理基准测试程序应具备特点  应用开发时,考虑并充分利用了目标机器的系统结构特性  负载应具有充分的多样性，能够覆盖一定的目标应用范 围  程序采用最新的算法和实现技术 C. Bienia et al. The PARSEC benchmark suite: characterization and architectural implications. In Proc. of PACT’08. 工业界标准组织  Standard Performance Evaluation Corporation (SPEC)  Transaction Processing Performance Council (TPC)  Business Applications Performance Corporation (BAPCo)  personal computers based on popular software applications and operating systems  Embedded Microprocessor Benchmark Consortium (EEMBC) 基准测试程序分类（1）  Toy benchmarks  Micro benchmarks: designed to measure the performance of a very small and specific piece of code.  Processing micro benchmarks  Local memory micro benchmarks  Input-output micro benchmarks  Communication micro benchmarks  Synchronization micro benchmarks 基准测试程序分类（2 ）  Kernels  contains key codes  normally abstracted from actual program  popular kernel: Livermore loop  Linpack benchmark 基准测试程序分类（3 ）  Synthetic benchmarks  Synthesize the diverse range of characteristics of workloads  抓不住重点!  Application benchmarks  top-down method  select a suite of representative programs.