.计算机性能评测概述.pptVIP

计算机性能评测概述 钱宇辉 2005年1月6日 智能中心性能评测组 /pe 与性能评测有关的学科 性能评价 “If a system’s performance is hard to evaluate, then the system is hard to understand” 软件工程软件测试性能测试（性能、负载、强度测试） 自动化技术测试自动化 测试自动化技术不是测试技术，但是在我们开发测试软件的时侯可以参考。 参考文献1，4，11 测试的重要性 “就软件业而言，一个软件之所以能够成功，必须仰赖多方面的配合，这些配合项目除了要达到产品需求，符合市场预期，功能优于竞争对手，产品服务令人满意之外，最重要的是软件质量必须能够赢得使用者的信任。 对软件质量来说，软件测试是提高软件质量最实际、最彻底的方法之一。” ? 参考文献8 性能概念的理解 两种观点： 1. 时间、吞吐量 2. 还包括了：可用性、可靠性、可扩展性、资源利用率 ? 随着需求的发展，以后可能还会包括别的性能。 参考文献9，10 三种性能评测方法的比较 模拟（simulation）、建模分析（modeling）、测量（measurement） 三种性能评测方法的比较 （接上）*评价折衷的能力强，表示容易寻找最优参数值，否则反之。 市场信任度对于厂家做评价尤其重要。比较好的办法就 是同时使用两种或更多的评测技术，如果不同技术得出的结 果相同，评测结果的市场可信度就会大大提高。 参考文献3 性能评测的粒度级别 （参照软件评估中的粒度级别） 系统级：对整个系统总的看法。 体系结构级：系统的最高抽象级别。 设计级：体系结构组件的设计。 编码级：最细的粒度级别，考虑实现特殊设计的单行代码。 参考文献2 测试对应的软件开发阶段 早期的测试设计V模型 参考文献4 测试对应的软件开发阶段 测试设计不能等到测试运行时才进行，可在获得所需信息后的任何时候开始。这样发现缺陷的效果好，在软件进行下一阶段前可将缺陷改正，对系统的修改不是破坏性的，修改成本小。以上的同样适用于性能测试。 在《中科院计算技术研究所管理标准——质量手册》中，附件G给出了测试服务过程流程图，规定了本单位在做项目时的测试流程和责任分配。[5] ?然而，“世界上不存在完备的测试”。[？] 探查性测试 这个有必要提一下。很多人都希望在寻找性能缺陷并且优化性能时有一个好用的方法论的指导。但是，目前主要还是利用以前的测试经验和相关技术知识的积累来进行经验性的猜测。（例：网安的测试） 目前性能评测领域的研究热点 集群系统的新的性能评价标准 基于web的性能评测技术 文件系统、memory、database的性能评测技术 ?? 目前，在性能评测领域的研究人员一般都热衷于发展新的方法论。包括：数学建模、分析、使用仪器的技术、模型验证和确认、负载描述、模拟、统计分析、随机建模、实验设计、可靠性分析、优化、队列理论。 参考文献1，6，7 工具 这是比较重要的部分，还没来得及研究总结。 大概包括： 建模（分析）工具：Matlab 模拟（分析）工具 测量（分析）工具：所有的benchmark都是。 需要做的事这是从学科建设的角度考虑 测试知识的积累和共享，这个可以通过企业信息化来实现，比如我们的所务平台。 参考文献 1.?《Web测试应用》，[美]Hung Q. Nguyen 著，冯学民、唐映、杨海燕等译，电子工业出版社，2003年4月，第1版。 2. 《软件质量和软件测试》，[德]Dirk Huberty 等著，马博、赵云龙译，清华大学出版社，2003年11月，第1版。 3.?《高端路由器测试技术》，王乐春、龚正虎、白建军、夏建东等编，人民邮电出版社，2002年12月，第1版。 4. 《软件测试自动化技术与实例详解》，[美]Mark Fewster Dorothy Graham 著，舒智勇、包晓露、焦跃等译，电子工业出版社，2000年1月，第1版。 5. 《中科院计算技术研究所管理标准——质量手册》，QB/JS-ZK10000-A，中科院计算技术研究所，2003年12月1日发布。 6. 《高性能机群计算：结构与系统（第一卷）》，[美]Rajkumar Buyya编，郑纬民、石威、汪东升等译，电子工业出版社，2001年6月，第1版。 ???????? 参考文献 7. Performance Evaluation Review, a.c.sigmetrics, acm press, vol.32, No.2, Sep. 2004. 8.《软件测