软件测试方法和技术第6讲集成测试和系统测试.pptVIP

性能测试的方法和技巧 两种负载类型 “flat”测试 ramp-up测试 对于企业级的系统，有许多进行性能测试的方法，主要有： 基准测试 性能规划测试 渗入测试 峰谷测试 两种负载类型 “Flat”测试: 对于一次给定的测试，应该取响应时间和吞吐量的平均值。精确地获得这些值的唯一方法是一次加载所有的用户，然后在预定的时间段内持续运行。这称为“flat”测试。 Ramp-up测试: 用户是交错上升的（每几秒增加一些新用户）。ramp-up测试不能产生精确和可重现的平均值，这是因为由于用户的增加是每次一部分，系统的负载在不断地变化。ramp-up测试的优点是，可以看出随着系统负载的改变，测量值是如何改变的。然后可以据此选择以后要运行的flat测试的范围。 基准测试 　 基准测试的关键是要获得一致的、可再现的结果。 假定测试的两个指标是服务器的响应时间和吞吐量，它们会受到服务器上的负载的影响。 服务器上的负载受两个因素影响：同时与服务器通信的连接（或虚拟用户）的数目，以及每个虚拟用户请求之间的考虑时间的长短。与服务器通信的用户越多，负载就越大。同样，请求之间的考虑时间越短，负载也越大。这两个因素的不同组合会产生不同的服务器负载等级. 随着服务器上负载的增加，吞吐量会不断攀升，直到到达一个点, 并在这个点上稳定下来 基准测试 (2) 在某一点上，执行队列开始增长，因为服务器上所有的线程都已投入使用，传入的请求不再被立即处理，而是放入队列中，当线程空闲时再处理。 图2. 随着负载的增加，系统执行队列长度的曲线 当系统达到饱和点，服务器吞吐量保持稳定后，就达到了给定条件下的系统上限。但是，随着服务器负载的继续增长，统的响应时间也随之延长，虽然吞吐量保持稳定。 基准测试 (3) 将系统置于相同的高负载下，与服务器通信的虚拟用户应该将请求之间的考虑时间设为零。这样服务器会立即超载，并开始构建执行队列。如果请求（虚拟用户）数保持一致，基准测试的结果应该会非常精确，因此，flat运行是获得基准测试数据的理想模式 图3. 随着负载的增加，系统中两个事务的响应时间曲线 性能规划测试 　 性能规划类型的测试其目标是找出在特定的环境下，给定应用程序的性能可以达到何种程度。例如，如果要以5秒或更少的响应时间支持8,000个当前用户，需要多少个服务器？ 　要确定系统的容量，需要考虑几个因素: 用户中有多少是并发与服务器通信的。 每个用户的请求间时间间隔是多少。 性能规划测试 (2) 如何加载用户以模拟负载状态？ 最好的方法是模拟高峰时间用户与服务器通信的状况。 如果用户负载状态是在一段时间内逐步达到的,选择使用ramp-up类型的测试，每隔几秒增加x个用户;如果所有用户是在一个非常短的时间内同时与系统通信，就应该使用flat类型的测试，将所有的用户同时加载到服务器. 什么是确定容量的最好方法？ 结合两种负载类型的优点，并运行一系列的测试，就会产生最好的结果。如，首先使用ramp-up测试确定系统可以支持的用户范围。确定了范围之后，以该范围内不同的并发用户负载进行一系列的flat测试，更精确地确定系统的容量。 渗入测试 渗入测试是一种比较简单的性能测试。渗入测试所需时间较长，它使用固定数目的并发用户测试系统的总体健壮性。这些测试将会通过内存泄漏、增加的垃圾收集(GC)或系统的其他问题，显示因长时间运行而出现的任何性能降低。 建议运行两次测试——一次使用较低的用户负载（要在系统容量之下，以便不会出现执行队列），一次使用较高的负载（以便出现积极的执行队列）。 峰谷测试 峰谷测试兼有容量规划ramp-up类型测试和渗入测试的特征。其目标是确定从高负载（例如系统高峰时间的负载）恢复、转为几乎空闲、然后再攀升到高负载、再降低的能力。 性能测试的过程 评估系统 制定测试资产 执行基线 基准测试 分析结果 验证需求 完 成 调试系统 识别探索性测试 非决定性结果 不符合标准 调试之后重新进行基准测试 开发探索性的测试 符合所有的标准 故障转移测试 Failover 测试:故障转移(Failover)和故障恢复(Failback). 服务器的Failover测试的目的: 检查系统是否具备某种灾难性恢复的手段. 当系统局部或全部出错时, 能否在指定时间内修正错误. 具有良好故障恢复的系统, 当遇到软件原因或无法克服的自然原因时, 能够进行故障的转移与恢复. 使用户最低限度的感受到故障的发生. 在服务器的Failover测试中, 将包括多种情况, 如: 客户机或服务器掉电; 客户机与服务器网络中断; 服务器相关的程序CRASH; 系统中全部或部分CORE SERVER出现掉电/网络中断情况. Failove