协议测试方法学.ppt

* 网络性能评价与测试 * 虽然互操作性测试目前还未制定国际标准，但是中国以及ETSI、ITU-T、ISO等国际组织都开展了相应的研究工作，具体成果有: ① ETSI TS 102237 “互操作测试方法和途径”；ETSI TS 202237 “互操作测试方法”； ② ITU-T正在完善ITU-T Z.itfm “互操作测试框架和方法”； ③ ISO正在许多协议簇中增加互操作测试； ④ 中国通信行业标准YD/T1521-2006 “路由协议互操作性测试方法”。该标准主要是信产部电信研究院、华为公司、中兴通讯公司参与起草，由中华人民共和国信息产业部发布。 6.3.1 互操作测试的标准 * 网络性能评价与测试 * 目前互操作测试没有标准定义，通常用于研发阶段多厂商准正式测试或者运营商的选型测试中。互操作测试评估被测实现与相连接相似实现之间在网络操作环境中交互能力，并且完成协议标准中规定的功能，从而确定被测设备是否支持所需要的功能。 * 网络性能评价与测试 * 在互操作测试中，被采用最多的形式是测试单位选择经一致性操作和互操作测试认可设备来与被测设备进行互操作测试。互操作性测试系统结构模型如图。 6.3.2 互操作测试的系统结构 互操作测试系统模型 * 网络性能评价与测试 * 表现互操作性测试的重要特征是: ① 认可设备(Qualified Equipment，QE)和被测设备(EUT) 来自不同厂商(至少不同生产线)共同定义测试边界。二者可能是终端设备、网络设备或者应用软件，也可能是一个单独设备或者若干设备组合； ② 互操作性测试基于用户期望的功能，并由用户控制并观察测试结果。用户(Test Driver)可以是人工操作也可以是软件程序; ③ 互操作性测试在功能性接口上执行和观察，也就是说接口没有指定在协议级而是功能级上，接口包括人机接口(MMIs) 、协议设备接口(PDIs) 、应用程序接口(APIs) 。 * 网络性能评价与测试 * 互操作测试过程除了测试规范、测试设备和测试驱动与一致性测试不同以外，其它基本与一致性测试类似。互操作测试过程主要包括两个部分： ① 开发互操作测试规范过程，通常由互操作者根据测试功能要点进行制定。该过程主要包括以下内容：指定抽象测试架构、准备互操作特征声明(Interoperable Features Statement，IFS) 草稿、声明测试套架构(Test Suite Structure，TSS) 、写测试目的、写测试例、IFS 定案； ② 测试过程，主要包括以下内容：准备测试、具体测试、测试报告。 * 网络性能评价与测试 * 一致性测试和互操作测试都是测试协议实现重要而有效的方法，在某种程度上可以相互验证，但二者并不是完全一样： ① 测试目的不同，一致性测试是确定被测实现是否与标准规定一致，而互操作测试是确定被测设备之间基于某一协议的交互能力； ② 测试对象不同，一致性测试的对象是设备或者系统。而互操作测试的对象是设备； ③ 测试级别不同，一致性测试是在协议级，而互操作测试是在功能级； ④ 测试效果不同，一致性测试适用所有协议实现，而互操作测试主要适用于被测设备。 6.3.3 一致性测试与互操作性测试的比较 * 网络性能评价与测试 * 实际测试中，一致性测试通过并不能保证互操作测试一定可以通过。具体原因表现在三方面： ① 标准方面：标准中错误与含糊内容，标准本身的兼容性问题； ② 实施方面：人为错误(如编程错误) ，对于标准理解不同，标准本身允许不同选项； ③ 技术方面：通信网络使用不同流量策略，设备兼容性问题，设备配置问题。 * 网络性能评价与测试 * 互操作测试可以证实被测系统中不同设备之间的互操作能力，但不能证实设备是否符合标准。一致性测试可以证实设备是否符合标准，但不能保证设备之间可以互相通信。 故此，互操作测试不可能替代一致性测试，在互操作测试前必须首先进行一致性测试。一致性测试和互操作测试是互为验证、互为补充的关系，只有把两者合理地结合才能完成完整的协议测试。 * 网络性能评价与测试 * 6.4 协议性能测试方法 性能测试的对象是IUT，测试目的是在不同负载下测试IUT的性能。性能测试由Tester来执行，测试器可以是人，但最好是自动化工具。IUT通过发送或接收ASP或PDU与周围环境通信。IUT与环境交互的位置称为实现访问点IAPs (Implementation Access Points)。 然而在多数情况下，Teste