基准测试程序(Benchmark)-BigDataBench.PDFVIP

基准测试程序 (Benchmark) 詹剑锋 中科院计算所 2011年5月2日 内容  什么是Benchmark?  常见Benchmark  如何评价高性能计算机  如何评价处理器？  如何评价OLTP系统？  文件系统/数据库？  数据中心Benchmark  问题 为什么第一讲要讲Benchmark ？  Benchmark是研究问题的Setup。  可以借助Benchmark实现solution 。  评价和比较方法好坏的基准。  选择Benchmark 的代表性和多样性直接决 定你发表论文的水平。 什么是基准测试程序？  基准测试程序指一组性能测试程序，它能 刻画应用负载的计算处理、数据移动等行 为特征，从而测试和预测系统的性能，并 能对不同的系统的优缺点给出评价。 合理基准测试程序应具备特点  应用开发时,考虑并充分利用了目标机器的 系统结构特性；  负载应具有充分的多样性，能够覆盖一定 的目标应用范围；  程序采用最新的算法和实现技术。 C. Bienia et al. The PARSEC benchmark suite: characterization and architectural implications. In Proc. of PACT’08. 工业界标准组织  Standard Performance Evaluation Corporation (SPEC)  Transaction Processing Performance Council (TPC)  Business Applications Performance Corporation (BAPCo)  personal computers based on popular software applications and operating systems  Embedded Microprocessor Benchmark Consortium (EEMBC) 基准测试程序分类（1）  Toy benchmarks  Microbenchmarks  Designed to measure the performance of a very small and specific piece of code.  Processing microbenchmarks  Local memory microbenchmarks  Input-output microbenchmarks  Communication microbenchmarks  Synchronization microbenchmarks 基准测试程序分类（2 ）  Kernels  contains key codes  normally abstracted from actual program  popular kernel: Livermore loop  Linpack benchmark 基准测试程序分类（3 ）  Synthetic benchmarks  Application benchmarks  Benchmark Suites 常见评价指标  Instructions per second  Linpack: MFLOPS  Performance per watt  IOPS  Input/Output Operations Per Second, pronounced i- ops  如何提高这些性能指标？ 内容  什么是Benchmark?  常见Benchmark