浅析SPEC基准测试程序集及评价指标.docVIP

浅析SPEC基准测试程序集及评价指标 第8卷第6期 2010年12月 实验科学与技术 ExperimentScienceandTechnology Vo1.8No.6 Dec.2010 浅析SPEC基准测试程序集及评价指标 徐洁,王华,吴晓华,王雁东 (电子科技大学计算机科学与工程学院,成都610054) 摘要:基准测试程序用于测试计算机系统的性能,对不同结构的计算机性能提供量化比较结果,为用户选择更适合应用要 求的机器提供决策.文章介绍了SPEC基准测试程序组件,给出了SPECCPU2006测试程序说明,分析了SPEC评价指标及 使用. 关键词:SPEC评测机构;基准测试程序集;评价指标 中图分类号:TP311.52文献标志码:A文章编号:1672—4550(2010)O6—0021—04 DiscussiononSPECBenchmarkSuitesandEvaluationIndicators XUJie,WANGHua,WUXiao—hua,WANGYan—dong (SchoolofComputerScienceandEngineering,UniversityofElectronicScienceandTechnologyofChina,Chengdu610054,China) Abstract:Benchmarkisusedtotesttheperformanceofcomputersysteminordertoprovidequantitativecomparativeresultfordiffer- entcomputerarchitecturesandmakepolicyforusertochooseproperapplicationcomputer.ThispaperintroducesSPECbenchmark suitesanddiscussesSPECCPU2006,andanalysesSPECevaluationindicators. Keywords:SPEC;benchmarksuites;evaluationindicator 1引言 基准测试程序集是选择一组有代表性的基准应 用测试程序,集中起来去有效评测计算机处理各种 应用的性能.这种测试程序集合也称为测试程序组 件(benchmarksuites).基准测试程序试图提供一 个客观,公正的评价机器性能的标准.但真正做到 完全公正并非易事,要涉及很多因素,包括硬件, 体系结构,编译优化,编程环境,测试条件,解题 算法等.一组标准的测试程序要提供一组控制测试 条件和步骤的规范说明,包括测试平台环境,输人 数据,输出结果和性能指标等. SPEC(StandardPerformanceEvaluationCoopera— tion,SPEC)标准性能评测机构是一个全球性的, 权威的第三方应用性能测试组织,它旨在确立,修 改以及认定计算机应用性能评估的标准.1988年 由工作站厂商HP,DEC,MIPS,SUN共同发起, 为软硬件厂商,学术研究机构等提供基准测试平 台,用于评估计算机的性能.该组织每个季度都要 公布一次成百上千的性能测试结果.SPEC组织的 CPU基准测试如今已经成为一项评估处理器计算 收稿日期:2010—04—2l;修改日期:2010—06—17 作者简介:徐洁(1963～),女,教授,研究方向:主要 从事计算机系统结构,计算机网络方面的教学 与科研工作. 性能的全球性测试标准,是目前CPU性能评估最 为客观而可信的基准测试之一. 2SPEC基准测试程序集… SPEC推出第一组基准测试程序叫SPEC89,包 含1O个程序;SPEC92扩充到2O个程序,整数测 试程序SPECint92有6个,浮点测试程序SPECfp92 有14个.随后SPEC又发布了新的基准测试程序 集SPEC95,SPEChpc96,SPECweb96,SPEC2000 等.SPEC原来主要测试CPU性能,现在强调开发 能反映真实应用的基准测试程序集,并已推广至测 试高性能计算机系统,网络服务器和商业应用服务 器等.如SPECs~2008是一个通过使用文件服务器 请求脚本文件来测量网络文件系统NFS性能的基 准测试组件,它能够测量输人输出系统性能和处理 器性能.SPECweb2009是一个网络服务器基准测试 组件,它能够模拟多个浏览器请求服务器的静态和 动态网页,以及模拟浏览器向服务器发送数据的操 作.目前SPEC的基准测试程序组件包括: 1)SPECCPU2006CPU性能比较测试组件; 2)SPECviewperf可视化计算性能测试组件; 3)SPECapc基于应用的图形性能测试组件; 4)SPECMPI2007机群和SMP系统MPI并行, 浮点和计算密集