系统测试设计指南 v0.1.docxVIP

系统测试基本概念系统测试用来验证整个应用系统（包括内部所有模块，以及与外围应用系统的接口）的正常运行。在系统测试中，需要执行功能性类型的测试和结构性类型的测试（详见测试类型），来验证系统在功能和操作方面都能够正常运作。系统测试的目标一般包括：验证系统能够按照规则在功能和操作方面都正确运作验证系统/模块可以有效地起到控制的作用验证本系统与外围系统的交互正确执行适当类型的测试，包括交易流，安装，可靠性，回归等，以从不同角度来验证系统质量系统测试的开始时间一般在开发团队完成单元测试和集成测试之后。这样安排的目的是：一方面使得许多缺陷可以更早被发现从而减少总体工作量；另外一方面可以确保系统中大多数的简单缺陷已经被排除，系统测试过程可以更有效地检查较复杂的测试场景/条件，同时系统测试的工作量也更易于控制。系统测试过程的输入一般包括系统需求和概要设计以及系统测试计划。系统需求一般来自于业务团队，概要设计一般来自于设计开发团队，两者一般被称为系统测试的测试基础；系统测试计划则由测试团队负责。编写系统测试计划的时间一般是在开发生命周期的设计阶段，但也可以被认为是系统测试过程的一部分，这是全生命周期测试方法的一个具体体现。系统测试过程的输出最重要是系统测试报告。系统测试报告中包括了测试覆盖的分析，测试过程的分析以及最终的风险评估。系统测试报告可以给予决策者一个直观量化的测试结论，使其了解风险和对之后阶段有怎样的影响，从而辅助项目的决策。系统测试设计基本概念系统测试设计主要包括两个方面：系统测试策略和系统测试案例设计。测试策略描述了一个项目中测试工作的大体方法和目标，主要包括三个要素：测试阶段，测试关键领域和测试类型。系统测试策略一般包括但不限于：测试目的：测试目标和方向产品风险：业务和技术风险的分析测试关键领域：需要测试的系统关键特性测试类型：涉及的功能性测试和结构性测试测试阶段：系统测试测试方法：测试的具体方法和使用的相关技术，如手工或自动化测试环境/数据：系统测试使用的环境和数据的技术特征测试工具：将使用的测试工具测试阶段一般包括以下6项，系统测试是第一个将系统作为一个整体看待的测试阶段，一般也是测试团队介入的第一个测试阶段（之前的单元测试和集成测试一般由开发团队完成）：单元测试集成测试系统测试系统集成测试用户验收测试操作测试测试关键领域一般包括以下10项，对于系统测试来说都应该在不同程度上涉及：可审计性流程连贯性正确性可维护性可操作性性能便携性可靠性安全性易用性测试类型一般包括以下17项，对于系统测试来说都应该在不同程度上涉及：功能性-审计和控制测试功能性-转换测试功能性-用户文档和流程测试功能性-错误处理测试功能性-功能/需求测试功能性-安装测试功能性-接口/系统交互测试功能性-平行测试功能性-回归测试功能性-交易流测试功能性-可用性测试结构性-备份和恢复测试结构性-作业流测试结构性-操作性测试结构性-性能测试结构性-安全测试结构性-压力/容量测试系统测试案例设计的目的是识别系统测试条件，系统测试案例和系统测试数据。在这个过程中，可以使用一些常用的黑盒测试设计技术，基于系统需求和概要设计，来获得并选择测试条件，设计测试案例，注明测试数据技术特征。黑盒测试设计技术包括但不限于以下8项，对于系统测试来说都可以根据实际情况选用：等价类划分方法边界值分析方法因果图方法判定表驱动分析方法正交实验设计方法场景法错误推测方法状态转换表方法系统需求和概要设计一般可以作为系统测试的测试基础，这是指系统测试应当以系统需求和概要设计作为测试判断通过或失败的标准。系统测试案例设计主要关注所有的系统需求都有测试案例覆盖，即需求覆盖率；所以在系统测试的准出标准中，非常重要的一条就是基于系统需求的测试覆盖率是否达标。为了正确计算出需求覆盖率，要求业务团队将系统需求条目化，以便制作需求跟踪矩阵（RTVM）。另外，在一些项目中，对于系统的详细描述是包含在概要设计中的，所以概要设计也往往是系统测试的一个重要参考。在系统测试中，应该尽量考虑将测试案例自动化，特别是那些需要多次重复执行的案例（例如回归测试）。同时需要注意的是，开发和维护自动化测试案例需要耗费时间和资源，所以应该在开始之前进行详细分析并设计方案，以保证获得自动化带来的价值最大化。因此，一个系统测试中往往还有一部分的手工测试，并持续维护自动化回归案例库。系统测试设计过程测试策略一般在项目早期就可以统一为每个测试阶段制定，其顺序为：首先识别测试关键领域，然后决定测试类型，最后确定需要哪些测试阶段以及每个阶段着重地进行哪些测试。在各个测试阶段，可以根据测试策略对该测试阶段的要求和相应的测试基础，归纳测试要点并设计出测试案例。这样做的好处在于可以为项目的整个测试工作提供统一的指导，确保各个测试阶段相互配合，安排合理且高