5-仿真输出数据分析和模型验证确认.pptVIP

仿真输出数据分析和可信性研究 李海 2003-11-14 仿真可信性研究 仿真可信性研究包括三个方面内容：验证(Verification)、确认(Validation)和认定(Accreditation)，简称VVA。 仿真模型的验证是检验模型是否正确地实现，即验证计算机仿真程序的正确性。 仿真模型的确认是要确定仿真模型是否是所研究的现实系统的准确描述。 仿真模型的认定是指仿真模型对于特定的目的是可以接受的。 仿真模型的验证 对于大型复杂的仿真程序而言，应该首先编写并调试仿真模型的主程序和最关键子程序，在确保它们是正确的情况下逐一加入其它子程序和一些细节内容，逐步地进行程序设计和验证。 在仿真程序的运行中检查输出的合理性。 仿真程序运行时的跟踪检查 仿真模型确认（1） 将仿真模型的输出数据与所研究的现实系统的实际数据作比较，可能是模型确认最决定性的步骤。如果仿真输出数据与实际数据吻合得很好，我们有理由相信构造的模型是有效的。虽然这种比较并不能确保模型完全正确无误，但我们认为进行比较将使模型有更大的可信度。 “图灵试验(Turing Test)。将仿真结果和实际系统的运行数据不加标志地送给深刻了解该系统的专家进行鉴别，如果专家们能区分二者之间的区别，则他们的经验就是修改模型的依据。经过多次这种评议和改进，仿真模型格接近真实系统而达到确认的目的。 仿真模型确认（2） 定量分析的方法一般是利用统计分析方法定量比较仿真试验和真实系统的输出，包括静态输出特性（随机变量）的比较和动态输出特性（随机过程）的比较。 对于静态输出特性的比较，出了许多这样的验证方法，如方差分析、因素分析和一些非参数检验，包括?2检验、Kolmogorov-Sminov检验检验等。 在动态输出的定量比较方面，用相关系数和相似性系数进行验证。 仿真输出分析 目的是用适当的统计技术对仿真中产生的数据进行分析，实现对未知参数的估计 由于仿真输出结果是分布未知的随机变量，每次仿真运行的结果仅是对该随机变量总体的一次抽样，可能与模型对应的真值有较大的误差，因此不能把一次仿真运行所得的结果当成问题的解。为使仿真结果有意义，必须用适当的统计技术来设计仿真实验和分析仿真结果，这样才能得到一般性的结论。 对系统性能测度的估计 点估计要解决的是寻找待估参数的估计量(不含未知参数的样本函数)，使其在某种意义上可以作为未知参数的估计。 点估计 无偏性、有效性 当为 有限时，样本均值 是总体均值 的无偏估计（假定X1, X2, … , Xn均与X有相同的分布），即 为有限时，样本方差 是总体方差 的无偏估计（假定X1, X2 ,…, Xn相互独立，均与X有相同的分布），即 区间估计 可以说明这个结果的误差多大范围内是合理的。 独立同分布的随机变量X1，X2．…，Xn给出的总体均值的100(1-?)%的置信区间 终态仿真和稳态仿真 终态仿真是在有限时间区间[0，Ts]内进行仿真试验。Ts表示在仿真中某一指定事件E发生的时刻。它可以是个固定的常数，也可以是一个随机变量。一般终态仿真的结果与系统的初始条件有关。 稳态仿真是仿真时间趋于无限长的仿真试验．它没有终止事件，其一次仿真试验的运行时间应足够长，以便得到所求性能测度的良好估计。从理论上来说，稳态仿真的输出数据与系统的初始状态无关。 终态仿真输出分析 终态仿真是在有限时间区间[0，Ts]内运行仿真模型的仿真方式，其性能测度明显地依赖于系统的初始状态。通常使用相同的初始条件和同一终止事件做多次独立重复仿真运行，其中每次重复使用不同的随机数流，这样得到的仿真输出数据可以认为是独立同分布随机变量的样本观察值。于是可以用经典统计方法对所关心的系统性能测度进行估计。 固定样本量法(fixed-sample-size) 取得规定精度的置信区间 (序贯法) 固定样本量法 设对某系统共作R次（R≥2）独立重复仿真运行，Xri表示第r次运行中的第i个观察值，记为 将X1,X2,…,Xn近似看成相互独立同分布随机变量的样本观察值，则均值和方差的点估计为 故E(X)的100(1-α)%置信区间为 例题 对某系统做10次独立重复试验，由观察值计算得 则总体均值90%的置信区间为 总体均值95%的置信区间 取得规定精度的置信区间 绝对精度 指该估计量与待估参数真值之差的绝对值，即 相对精度 指估计量的绝对精度与待估参数的比值 由于待估参数往往是未知的，故常常用估计量的绝对精度与估计量的比值近似代替。因此估计量的相对精度可以用置信区间的半长与 的比值近似。 步骤 若要求绝对精度不超过β，可以采用如下试算法： 对系统进行R0次