朱少民 Ch6-集成测试与系统测试-STMT.ppt

从质量三个纬度看系统测试 Zhu.Kerry@ 质量维度 测试类型 可靠性 完整性测试：侧重于评估测试对象的强壮性（防止失败的能力），语言、语法的技术兼容性以及资源利用率的测试。该测试针对不同的测试对象实施和执行，包括单元和已集成单元。 结构测试：侧重于评估测试目标是否符合其设计和构造的测试。通常对基于 Web 的应用程序执行该测试，以确保所有链接都已连接、显示正确的内容以及没有孤立的内容。 功能 配置测试：侧重于确保测试对象在不同的硬件和/或软件配置上按预期运行的测试。该测试还可以作为系统性能测试来实施。 功能测试：侧重于核实测试对象按计划运行，提供需求的服务、方法或用例的测试。该测试针对不同的测试对象实施和执行，包括单元、已集成单元、应用程序和系统。 安装测试：侧重于确保测试对象在不同的硬件和/或软件配置上，以及在不同的条件下（磁盘空间不足或电源中断）按预期安装的测试。该测试针对不同的应用程序和系统实施和执行。 安全测试：侧重于确保只有预期的主角才可以访问测试对象、数据（或系统）的测试。该测试针对多种测试对象实施和执行。 从质量三个纬度看系统测试 (2) Zhu.Kerry@ 质量维度 测试类型 功能 容量测试：侧重于核实测试对象对于大量数据（输入和输出或驻留在数据库内）的处理能力的测试。容量测试包括多种测试策略，如创建返回整个数据库内容的查询；或者对查询设置很多限制，以至不返回数据；或者返回每个字段中最大数据量的数据条目。 性能 基准测试：一种性能测试，该测试将比较（新的或未知的）测试对象与已知的参照负载和系统的性能。 竞争测试：侧重于核实测试对象对于多个主角对相同资源（数据记录、内存等）的请求的处理是否可以接受的测试。 负载测试：一种性能测试，用于在测试的系统保持不变的情况下，核实和评估系统在不同负载下操作极限的可接受性。 评测包括负载和响应时间的特征。如果系统结合了分布式构架或负载平衡方法，将执行特殊的测试以确保分布和负载平衡方法能够正常工作。 性能曲线：在该测试中，将监测测试对象的计时配置文件，包括执行流、数据访问、函数和系统调用，以确定并解决性能瓶颈和低效流程。 强度测试：一种性能测试，侧重于确保系统可在遇到异常条件时按预期运行。系统面对的工作强度可以包括过大的工作量、不充足的内存、不可用的服务/硬件或过低的共享资源。 Q A Zhu.Kerry@ 练习 Zhu.Kerry@ P.145: 1, 5, 7 两种负载类型 Ramp-up测试: 用户是交错上升的（每几秒增加一些新用户）。ramp-up测试不能产生精确和可重现的平均值，这是因为由于用户的增加是每次一部分，系统的负载在不断地变化。其优点是，可以看出随着系统负载的改变，测量值是如何改变的?据此选择要运行的flat测试的范围。 Flat测试 “波动”效应 Page Downloaded per Second 系统吞吐量 Flat测试 “波动”效应 Resource Usage 基准测试 同时与服务器通信的连接（或虚拟用户）的数目， 每个虚拟用户请求之间间隔时间的长短。 随着服务器上负载的增加，吞吐量会不断攀升，直到到达一个点, 并在这个点上稳定下来 基准测试的关键是要获得一致的、可再现的结果。 假定测试的两个指标是服务器的响应时间和吞吐量，会受到负载的影响。而负载又受两个因素影响： 与服务器通信的用户越多，负载就越大。同样，请求之间间隔时间越短，负载也越大。这两个因素的不同组合会产生不同的服务器负载等级. 基准测试 (2) 在某一点上，执行队列开始增长，因为服务器上所有的线程都已投入使用，传入的请求不再被立即处理，而是放入队列中，当线程空闲时再处理。 当系统达到饱和点，服务器吞吐量保持稳定后，就达到了给定条件下的系统上限。但是，随着服务器负载的继续增长，响应时间也随之延长，虽然吞吐量保持稳定。 队列产生 响应时间 资源使用 将系统置于相同的高负载下，将请求之间间隔时间设为零。这样服务器会立即超载，并开始构建执行队列。如果请求（虚拟用户）数保持一致，基准测试的结果会非常精确? flat运行是获得基准测试数据的理想模式 基准测试 (3) 两个事务的响应时间曲线 性能规划测试 　 性能规划类型的测试其目标是找出在特定的环境下，给定应用程序的性能可以达到何种程度。例如，如果要以5秒或更少的响应时间支持8,000个当前用户，需要多少个服务器？ 　要确定系统的容量，需要考虑几个因素: 用户中有多少是并发与服务器通信的。 每个用户的请求间时间间隔是多少。 如何加载用户以模拟负载状态？ 最好的方法是模拟高峰时间用户与服务器通信的状况。 如果用户负载状态是在一段时间内逐步达到的,选择ramp-up测试，每隔几秒增加x个用户;