10GE-FCoE网络延时的分析演示文稿.ppt

10GE-FcoE网络延时分析 通用网络的相关延时分析 10Gb Ethernet – HPC 领域 Ready 的情况 TOE SAN 的协处理 10GbE 和InfiniBand 的带宽比较 10GbE L2 交换机的低延迟 Cost vs 性能 Server Cluster 被市场认同 Cut Through 以太网交换机 快速L2转发 3~5 us 牺牲了: CRC 校验的机会 如何Build 一个大型的Cut Through 交换机 ? GE: 1518 12.144us 10GE: 1518 1.2144us 100GE: 1518 0.12144 结论: GE 的环境下，线路时延是十分巨大的。10GE 的情况下，线路时延已经不是很敏感了。100GE 的条件下，它几乎可以被忽略。 Latency 时延和带宽的平衡点 先用单体大容量的设备来满足 带宽和时延 利用DCE 来实现流控(将来还有16way 的L2MP)，保证高优先数据的时延敏感 以及大吞吐量数据的有效传递 容量还是不够的话，就用多级交换矩阵来构成一个大容量的I/O 通道 降低各级的转发时延(至少2nd Stage是可以Cut Through) FC 相关延时分析 Enterprise Storage Server and switchesIBM SAN的设计 FCoE相关延时分析 存储相关延时分析 同步复制IO 同步复制延时 每个写IO需要两个来回 2 x 2 x 5μs/km = 20μs/km 额外延时 如50km ? 额外1000μs (1ms) I/O ; 100km ? 2ms 同步复制延时计算(同城) WA写加速 最高可达 2X性能提高 减少了I/O延时 对于阵列透明 异步复制IO 延时考虑 单向延时=0.36+20+2.6=23 ms 单向延时=序列化延时+传输延时+节点延时 序列化延时=2223*8*0.001/50M=0.36 ms PPP+IP+TCP+FCIP+FC=7+20+20+28+2148=2223 byte 传输延时=4000×0.005=20 ms 光纤距离为4000KM 节点延时=10*0.125+5*0.25+2*0.075=2.6 ms 节点延时=传输延时+处理延时+排队延时 每个SDH节点125微秒延时 每个路由器节点250微秒延时(假定不拥塞) 每端FCIP 75微秒延时 时间参数 Microsecond :一百万分之一秒, 微秒 , us Nanosecond: 毫微秒(时间单位等于1秒的10亿分之一) ns Millisecond:毫秒(千分之一秒 ) ms,msec 光纤1 KM 延时 5 us * Using traditional network interface cards (NICs), when data is received at the NIC, the NIC interrupts the CPU, the CPU suspends the current thread, switches context to a suspended IO thread (about 10us), instructs the DMA engine where to copy the data too in IO memory and resumes processing. As packets are copied to IO memory, the DMA engine interrupts the CPU, the CPU switches context and the CPU then processes the TCP stack until all TCP segments are received and reconstructed into their original format. The CPU then searches and associates the data with an application, and then instructs the DMA engine to copy the data into the application memory space. This process is extremely inefficient as it results in multiple copies of the same data traversing the Memory BUS and incurs multiple CPU interrupts and context switches. * By con