諾西实习总结报告.pptVIP

诺西实习总结报告 王淼 报告提纲 测试的背景 传输协议udt 整个测试脚本的介绍 实习的感受 分布式数据库进行数据备份、传输数据的需要 backup 高效性 准确性 友好性 udt 常用传输协议 UDP：无连接的传输协议，不可靠。? 在网络质量不好时丢包严重 TCP：面向连接的传输协议，可靠。? 在高带宽长距离网络上性能低 udt传输协议（UDP-based Data Transfer Protocol） 由于UDT完全在UDP上实现，并引入新的拥塞控制和数据可靠性控制机制。 udt提供了两种传输模式：m2m(memory to memory) d2d(disk to disk) 关于udt性能的测试 udt的官方文档说即使有500ms的网络延时，在1G bit/s的物理网卡上，速率也能够达到900Mbit/s以上，并且没有丢包。 测试过程： udt参数调优 tc（traffic control）队列选择、参数调优 测试结果 tc加延时从0ms一直到500ms，udt流的速率非常稳定，均可以最高达到950Mbit/s，且丢包率稳定后为0。这证明了udt的高效性和准确性。udt正如它自己声明的那样： 支持高速广域网上的海量数据传输。 测试架构 内核工具tc进行网络延时模拟 启动tcp流工具、监视网络状态工具 测试关注的参数 数据结果分析 虚拟网卡bonding的影响 脚本的主要架构 测试环境搭建 必要配置 打开服务器的路由转发功能 /proc/sys/net/ipv4/ip_forward 配置路由转发，使server和client之间的数据先经过tc manager（对数据包进行延时）处理后再发送 连接测试 tc(Traffic Control)是linux内核中用于流量控制的工具，它主要是通过在网卡的出口上建立一个队列来实现流量控制的目的。 tc的三个组成部分： queuing disciplines：指定数据包排列的队列类型 classes：可以为一些特定的数据包设定一个类别 filters：指定想要进行限制的数据包的过滤器 tc三个部分的关系图示： 我们的测试中，主要是利用tc进行对server与client上通过的数据包进行网络延时，来模拟实际的网域网传输情况，功能如下图所示： 为了测试的正确性，如果数据包不是从server发往client（或从client发往server），则不会被tc过滤器过滤而进行延时操作。 server client TC manager 延时100ms 为了达到这个目的，构建的tc结构树如下所示（已经过测试选择队列）： 启动tcp流的工具 ---- D-ITG D-ITG是一种比较流行的数据流产生工具。通过ITGSend发送数据，在目的服务器上用ITGRecv接收数据。 目的：在server和client之间同时启动udt流和tcp流，观察udt对tcp的友好性，以及两种数据流共同存在时相互的影响。 实验结果：D-ITG产生的tcp数据流在有udt流和没有udt流两种情况下，速率相差很小，这也证明了udt对于tcp的友好性。 使用范例： ./ITGSend -a 10.141.7.166 -rp 9500 -C 1000 -u 1000 2000 -l send_logfile D-ITG使用中的问题 server端和client端时间同步 与网络提供的时间服务器同步：由于服务器均不能连接外网，失败 两台服务器之间同步：ntp工具 使用中出现的问题： Udp流、tcp流丢包率不一样 Receive端cpu占用率过高700%~800% 启动不稳定，在连续case测试时有时ITGSend不能正常启动 ITGDec使用方式不是十分了解 监视网络状态工具 iftop nload ifstat 功能和需要不太符合 sar load runner ntop 都需要图形界面 iptraf 针对测试，需要能够监测网卡经过数据包的源ip地址、目的ip地址以及流量大小统计，因此使用iftop工具。 测试中设定的参数 tc设定延时 latency udt传输模式 udt_type udt流数量 udt_num udt流最大使用带宽 udt_bandwidth tcp流数量 tcp_num tcp流最大使用带宽 tcp_bandwidth 测试结果关注的参数 udt、tcp流传输速率 throughput udt、tcp流的client端cpu占用率、mem占用率 udt、tcp流的server