第四章 净室软件认证.ppt

净室软件认证 简介 采用一组产品抽检协议进行合格性检查 进行随机抽样，并应用一些测试特性进行测试 进行分析和统计推断 通过一定标准的产品就是合格的。 净室软件测试和认证采用基于使用模型的统计测试。 开发出使用模型，测试用例使用该模型随机产生。 使用数学和统计模型进行分析，获取质量度量并判断测试充分性。 优点 可以在早期提供有价值的决策依据 需求确认 使用模型容易被系统工程师，开发人员，客户和终端用户理解。 资源和进度预测 基于使用模型的标准计算，为成果、进度和成本提供测算依据。可以界定基于失效数据测试的最坏和最好情况下的结果。 人工挑选非随机测试用例 可通过模型检查确定特殊的测试用例，确保测试了特定的序列。 自动生成测试用例 测试用例可由测试模型自动生成。模型覆盖确保了模型的最低功能， 而随机测试可以为可靠性评估提供依据。 有效、高效的测试 发现失效的顺序是失效导致故障的大致顺序。 聚焦测试（有偏抽样） 允许对特别的序列进行有偏抽样。 量化测试管理 为测试是否完成，以及是否可发布提供定量标准 可靠性预测 获得预期运行性能的有效预测。 理论基础 样本与总体 测试时，产生软件所有可能使用的一个子集，并以这个子集的性能为依据来考虑整体性能。 软件的使用过程被认为是随机过程。Markov理论可以被用于软件使用模型的分析和开发中。 通过数学方法可以得到满足一定条件的最优化模型 覆盖了所有的使用状态和相应的状态转移，并且最少测试用例。 统计使用测试的实际应用 软件使用模型描述了软件系统投入运行时的使用方式。 总体上获得一个统计上比较恰当的测试用例样本。 使用规范 使用模型的开发 使用模型的分析和测试计划 测试用例生成与测试 测试充分性和产品质量的度量 使用规范 描述一般操作情形和可能的使用分类层次。 软件由“用户”在一定的“环境”中“使用”。 用户：人，硬件设备，其他软件。用户还可以进一步分化。 使用：可能的工作任务，事务，调用，或者其它服务。 使用环境：操作平台，单用户/多用户，是否并发，系统负载，外部数据完整性等。 使用模型的开发 最初的框架源于软件规约。 净室技术在定义软件规约过程中确定了模型的初始状态空间。 小型系统、或者大系统的高层、可以通过图形来表示： 点表示状态，弧表示信号激励，同时在接受上增加概率分布。 大系统的使用模型需要把激励进一步细化。 使用模型的结构代表了软件的可能使用方式。 使用模型分析和测试计划 使用模型的描述方法是状态转移图或者矩阵。可以使用Markov链来获取有效的信息 一次使用（测试用例）经历时间的平均值 最终状态的发生率。 一个给定使用状态发生前的平均使用（测试用例）数目。 这些数据可以用于修订规格说明，度量复杂度等等。 测试用例生成与测试 使用模型构造完成之后，依据这个转换的概率，通过遍历模型的使用状态，可以生成测试用例。 测试用例构成了测试中使用的脚本。 测试用例可以人工使用，也可以由自动测试工具使用。 测试的四个准则 每个版本都必须在唯一的统计实验中检测。 可靠性模型中使用的数据评估产品的可靠性，而可靠性增长模型的数据用于评估过程的有效性。 规格说明、环境状况以及性能评估的依据对不同的测试版本应该保持一致。 测试用例应该象生成的那样使用，不能人为“挑选”。 测试小组人员必须经过培训，保证对测试资料和测试方针的认识。对测试人员的工作应该加以监督。 测试充分性和产品质量的度量 采用测试链作为评估测试的工具。 使用模型作为使用链，而测试链用于跟踪测试中实际发生的状态的遍历情况。 开始：测试链是使用链的拷贝， 在测试中，每一弧线的计数器记录状态转移情况。 将使用链和测试链进行对比，计算出其中的差异。当差异足够小的时候，就表明测试可以终止。 软件的可靠性就是在未遇到失效的情况下，软件从头到尾遍历测试链的概率。 例子：安全警报器 使用模型的构建 测试过程 测试充分性度量 产品质量的度量 使用模型的构建（1） 规范中的事件序列 规范序列 描述 状态名字 空 —— 未激活 S 用户按下Set按钮 ready ST 装置已经激活，产生触发信号，触发警报 Alarm SB 装置已经激活，用户输入错误 Entry Error SG 装置已经激活，用户输入第一个正确的代码 1_OK STB 装置已经激活，已经出发警报，用户输入一个错误代码，在输入代码关闭警报前必须按下clear Alarm and Entry Error STG 装置已经激活，已经触发警报，用户已经输入第一个正确代码 Alarm and 1_OK SGG 装置已经激活，用户已经输入前面两个正确代码 2_OK STGG 装置已经激活，已经触发警报，用户已经输入前面两个正确代码 Alarm and 2_OK 使用模型的构建（2） 安全警报器的使用模型 使用模