DLL性能测-试规范.docx

性能测试规范 引言 1.1文档目的 本文档的目的在于明确性能测试规范，以便于相关测试人员使用，保证性能测试覆盖的全面性，提高测试工作的自动化程度，增加性能测试结果的可靠性，客观性。 1.2性能测试的目的 性能测试的目的注要体现在三个方面：以真实的业务为依据，选择有代表性的、关键的业务操作设计测试案例，以评价系统的当前性能；当扩展应用程序的功能或者新的应用程序将要被部署时，负载测试会帮助确定系统是否还能够处理期望的用户负载，以预测系统的未来性能；通过模拟成百上千个用户，重复执行和运行测试，可以确认性能瓶颈并优化和调整应用，目的在于寻找到瓶颈问题。 1） 评估系统的能力----测试中得到的负荷和响应时间数据可被用于验证所计划的模型的能力，并帮助作出决策。 2） 识别体系中的弱点----受控的负荷被增加到一个极端水平，并突破它，从而修复体系的瓶颈或薄弱的地方。 3） 系统调优---重复运行测试，验证调整系统的活动得到了预期的结果，从而改进性能。检测软件中的问题，长时间的测试执行可导致程序发生由于内存泄漏引起的失败，揭示程序中的隐含问题或冲突。 4） 验证稳定性，可靠性---在一个生产负荷下执行测试一定的时间是评估系统稳定性和可靠性是否满足要求的唯一方法。 2制定评估标准 任何测试的目的都是确保 HYPERLINK /view/37.htm \t _blank 软件符合预先规定的目标和要求。性能测试也不例外。所以必须制定一套标准。 通常性能测试有四种模型技术可用于评估： *线性投射：用大量的过去的，扩展的或者将来可能发生的数据组成 性能测试图像散布图，利用这个图表不断和系统的当前状况对比。 *分析模型：用排队论公式和算法预测响应时间，利用描述工作量的数据和系统本质关联起来 *模仿：模仿实际用户的使用方法测试系统 *基准：定义测试和你最初的测试作为标准，利用它和所有后来进行的测试结果进行对比 2.1性能测试指标 性能测试系统的性能指标，一般在产品需求文档中有明确定义，有三种形式描述软件系统的性能指标： 给出产品性能的主要指标，如在100000记录中查询一个特定数据的时间为0.5秒。 以某个已发布的版本为基线，如比上一个版本的性能提高30-50%。 和竞争对手的同类产品比较。 性能测试，根据其目的分为：产品性能质量测试，通过测试，决定产品是否达到产品规格书所要求的性能指标（非功能性需求）基准值测试，通过对当前产品的性能测试，确定产品具体的性能指标，建立性能指标基准。基准值，作为后继产品发布的性能参考（在新版本中，性能指标要求只升不降）或和竞争对手产品比较的参考。  2.2基准性能指标 基准测试的关键是要获得一致的、可再现的结果。可再现的结果有两个好处：减少重新运行测试的次数；对测试的产品和产生的数字更为确信。 使用的性能测试工具可能会对测试结果产生很大影响。为了获得真正可再现的结果，应该将系统置于相同的高负载下。为此，与服务器通信的虚拟用户应该将请求之间的考虑时间设为零。这样服务器会立即超载，并开始构建执行队列。如果请求（虚拟用户）数保持一致，基准测试的结果应该会非常精确，完全可以再现。 “如何度量结果？”对于一次给定的测试，应该取响应时间和吞吐量的平均值。精确地获得这些值的唯一方法是一次加载所有的用户，然后在预定的时间段内持续运行。这称为“flat”测试。 与“flat”测试相对应的是“ramp-up”测试。ramp-up测试中的用户是交错上升的（每几秒增加一些新用户）。ramp-up测试不能产生精确和可重现的平均值，这是因为由于用户的增加是每次一部分，系统的负载在不断地变化。因此，flat运行是获得基准测试数据的理想模式。。ramp-up测试的优点是，可以看出随着系统负载的改变，测量值是如何改变的。然后可以据此选择以后要运行的flat测试的范围。 Flat测试的问题是系统会遇到“波动”效果。 注意波动的出现，吞吐量不再是平滑的。 这在系统的各个方面都有所体现，包括CPU的使用量。 注意，每隔一段时间就会出现一个波形。CPU使用量不再是平滑的，而是有了像吞吐量图那样的尖峰。 此外，执行队列也承受着不稳定的负载，因此可以看到，随着系统负载的增加和减少，执行队列也在增长和缩减。 注意，每隔一段时间就会出现一个波形。执行队列曲线与上面的CPU使用量图非常相似。 最后，系统中事务的响应时间也遵循着这个波动模式。 注意，每隔一段时间就会出现一个波形。事务的响应时间也与上面的图类似，只不过其效果随着时间的推移逐渐减弱。 当测试中所有的用户都同时执行几乎相同的操作时，就会发生这种现象。这将会产生非常不可靠和不精确的结果，所以必须采取一些措施防止这种情况的出现。有两种方法可以从这种类型的结果中获得精确的测量值。如果测试可以运行相当长的时间（