执行测试-南京大学计算机科学与技术系.pptVIP

执行测试 赵建华 南京大学计算机系 主要活动 分配测试时间 激发测试 标识出现的失效 分配测试时间 按照三个步骤进行 在要测试的系统之间分配测试时间 在进行可靠性增长测试的每个系统的功能,回归,和负载测试之间分配时间。 在进行负载测试的每个系统的操作模式之间分配测试时间。 对于进行确认测试的系统，所有的测试时间都被分配给负载测试。 在被测试系统之间分配时间 对于系统的当前版本，首先根据估计的风险，将测试时间在超系统之间分配时间。 对于其他的系统，时间的分配原则上按照分配新的测试案例的比例分配测试时间。 分配案例的比率已经反映了被测试系统之间的相对重要性和新成分的多少。 例如：Fone Follower中，总共计划320小时的测试，40小时分配给超系统。以前的测试案例的分配为0.714和0.286。所以各个系统得到的时间为，产品200小时，操作系统80小时。 不同测试方式之间的再分配 如果系统进行可靠性增长测试 首先分配功能测试以及回归测试的时间。 剩下的时间分配给负载测试。 如果系统只进行确认测试，那么所有的时间都分配给了负载测试。 例如：Fone Follower中，超系统的40小时和操作系统的80小时，都分配给负载测试。对于产品测试的200小时，预计进行10小时的功能测试，估计进行10次每次1小时的回归测试。这样负载测试的时间分配为180小时。 在操作模式之间分配测试时间 在操作模式之间分配测试时间的基本规则为：按照各种模式在实际使用中被使用的比例。 对于Fone Follower， 激发测试（1） SRE的测试需要在系统的单元经过了测试或Verification，并且被集成后使得系统的各个操作都可以完成。 一般按照以下的顺序测试系统，主要的原因是：对于测试结果信息的需求的先后顺序。也可以采取其他的顺序。 采办组件 产品和变体 超系统 激发测试（2） 对于单个系统的测试顺序： 功能测试?负载测试?（程序有改动后）回归测试 功能测试：从所有新测试案例和以前版本的回归测试案例集合中随机选择（包含了所有的关键性操作的测试案例）。 负载测试：按所分配的时间比例，使用合适的测试过程，调用每个操作模式。 回归测试：调用所有功能测试的测试案例，或从中选择一个子集（包括所有的关键操作）。 案例选择 总共执行的案例的数量是由允许的时间决定的。 案例是按照测试操作剖面的概率，以随机的顺序，在随机时刻被激发的。 对于负载测试，案例的选择是可重复的。 一个案例被选择并执行之后，可能又被执行。原因在于：负载测试中，案例的执行数目远远大于允许的案例数目，且间接输入变量有一定的影响。 对于功能测试或回归测试，案例的选择是不可重复的。 一个案例只会被执行一次。原因在于：间接变量的影响被严格控制，同一个案例执行两次而出现不同的行为的可能性要远远小于两个不同案例的执行。 重复运行 运行重复的主要目的 增加有关失效的信息。 确认失效（错误）已经消除了。 失效的重现是必要的。为了能够重现，我们必须纪录每个运行的相关信息 案例，激发的时间，操作模式，环境变量，… 操作选择 在执行测试的过程中，选择操作的时候需要的是稳定。 稳定和不稳定的例子： 操作A: 0.7；操作B: 0.3。 顺序1：ABAABAAABA 顺序2：AAAAAAABBB 找出系统失效 找出系统失效所需要做的事情 分析测试输出，以找到行为偏离(deviation) 确定哪些偏离是失效 估计失效是什么时候发生的 确认失效的严重程度等级 分析测试输出，确定偏离 偏离(deviation)是指系统的行为和原来预期的有偏差：通信失效，非法内存引用，死锁，… 可以通过自动化的方法来检测系统的失效行为。 可以使用特定的工具来完成失效的自动检测。 也可以在代码中插入断言来完成失效的自动检测。 也可以设计内部状态审计程序或者外部结果检测器来检测失效行为。 但是，一定程度的人工检测是必须的 可能会有难以预先估计的错误出现。 由于负载测试中，运行的数量很多，有些不能自动监测的失效会被忽略。 不算偏离的行为偏差 通常不计算程序行为在性能上的偏差。 级联偏离不计算：一个偏离可能引起其他的偏差。此时只应该计算一个偏离。 即使开始的时候多计算了，如果发现他们是相关的就应该合并。 判断哪些偏差是失效（1） 确定偏离是否失效需要人工的参与。 但是，可以一些很严重的错误可以通过自动的方式检测到。 Process craches, incomplete transactions. 需要根据不同的情况判断一个偏离是否失效。 判断哪些偏差是失效（2） 容错系统 通常偏离不算失效。但是，如果容错系统不能够禁得起本来应该容忍的偏离，就是错误。 故障，麻烦，修改和变更报告不一定是错误 用户报告的故障，事件不一定是错误。 可能是人为错误，希望有