使用测试数据-南京大学计算机系.PPTVIP

使用失效数据来引导决定 赵建华 南京大学计算机系 失效数据的用途 失效数据可以帮助你作出以下决定 接受/拒绝一个采办组件 引导你开发产品或者其变体的软件开发过程 接受或者拒绝一个超系统 发布一个产品 其中，决定1和3是在确认测试的时候做出的。 引导过程 引导你开发一个产品或者其变体的软件开发过程的决定包括两个子决定 通过估算当前的失效强度和它的趋势来引导软件过程的改变。 根据失效的影响（包括频率和严重程度类）来确定需要解决的失效的优先次序。 确认测试 主要的任务是确定某个软件的FI是否达到要求。 使用的主要工具是Reliability demonstration chart。 需要使用的数据：每个失效发生的具体时刻。 Reliability Demonstration Chart 使用失效发生的具体时刻,在图中绘制各个失效对应的点。根据点所在的区域决定接受/否决一个产品，或者继续测试。 纵轴：错误个数 横轴：标准化后的失效时刻 Reliability Demonstration Chart 给图表总共有3个参数： 区分比率γ：你所能够接受的在估算FI的时候出现的误差的因子。 客户风险水平 β ：你接受的将不符合FIO的产品说成符合FIO的可能性。 供应商风险水平 α ：你所能够接受的将符合FIO的产品说成不符合要求的可能性。 当风险水平和/或区分比率降低时，CONTINUE区域变大。这意味着需要更加多的测试来确定是否接受这个产品。 对于RDC的解释 可能有10%的机会错误地接受一个其实际FI高于FIO两倍的产品 有10%风险错误地拒绝了一个其实际FI低于FIO一半的产品。 确认测试中使用RDC的例子 例子 一些具体问题 当失效数据一直不离开continue区域时? 不大可能发生,因为这需要FI不断增加,这和确认测试中,软件保持稳定相矛盾. 不一定要等到有一个点出现在ACC区域才可以接受/拒绝。 当没有失效出现的时候，可以认为曲线水平延伸。当曲线进入ACC区域的时候就可以接受该软件。 不同风险和区分度的RDC 所有的RDC的形状是类似的，但是不同区域之间的分界线不一样。分界线的方程如下：(γ表示区分度，n为失效个数） 在拒绝区域和继续区域 在继续区域和接受区域 A,B的意义 当客户风险改变的时候， A的值改变很快， B的值改变比较慢 供应商风险改变的时候 A的值基本稳定。 B的值改变比较快。 不同设置时的RDC 当α，β，γ参数不同的时候，RDC的两个分界线也各自不同。 RDC的例子 Consumer risk β = 5% Supplier risk α = 5% Discrimination ratio γ = 2 可靠性增长测试 可靠性测试中，我们可以定期使用失效数据来估算FI/FIO的比值。 估算的间隔可以根据你需要评估当前的FI并根据需要采取行动的频率决定。 SMERFS和CASRE 可以使用SMERFS程序来估算当前的FI的情况。该程序的理论基础是软件可靠性模型和统计推论。 CASRE是另外一个工具，它的核心还是SMERFS程序，但是提供了比较方便的图形界面。 CASRE(1) 接受的输入： 每个错误发生的时候的累计的单元（时间）数目 或者：在一个间隔内发生的错误数量。这个间隔总是起始于某个错误发生的时刻或者测试开始的时刻。 如果使用自然时间或单元，需要首先规范化这些时间或者单元（乘以FIO，得到MTTF）。 CASRE(2) CASRE使用两种模型来估算但前的状态和预测将来的趋势 对数模型（Musa-Okumoto）：假设软件在无限多的时间内出现无限多个失效。对FI的估算趋于悲观。 指数模型（Musa Basic）：假设软件在无限多时间内出现有限多的失效。对FI的估算趋于乐观。 在实际使用中，这两个模型中总有一个很好地符合实际情况。 CASRE(3) CASRE的输出是“Next step prediction”。 如果我们将输入数据如前面所讲的规范化了，那么Next step prediction就将是MTTF。我们可以对MTTF取倒数得到FI/FIO的比率。 如果失效数据显示测试对FI的提高作用很小，CASRE将不能输出“Next step prediction”。此时可以使用其他的方式得到FI/FIO的值。 CASRE(4) CASRE对FI/FIO的估算的准确性依赖于 具体有多少个失效数据。 被测系统的规模5000行代码时，估算的效果比较好。 FI/FIO不变的时候 当测试发现FI/FIO很大且基本不变的时候，可以考虑下面的三个方法 增加更多的资源进行测试 重新调整FIO，开发时间和开发费用之间的关系。 推迟实现某些功能。 当FI/FIO2时，分析最近的5个数据，看是否FI/FIO有增大