分布式计算平台Hadoop环境下的组网方案v0.2new.pptVIP

一个有意思的现象，使用了大Buffer的交换机之后，JOB的时间会缩短，吞吐量会上去，但是仍然会看到有TCP Retransmission 这是因为心跳和TCP ACK等信令报文被积压在了Buffer中，没有及时到达，导致TCP重传 1 2 3 4 5 6 … 24 48 … 30 29 28 27 26 25 Packet Shared Buffer TCP数据报文 TCP ACK报文 Job Tracker与Task Tracker之间的心跳报文 NameNode与DataNode之间的心跳报文 为了减缓TCP Incast，高吞吐量需要Switch具备一定的Buffer，来缓存溢出的流量。但是低延迟则相反，留在Buffer中的时间越短越好。 心跳报文/TCP ACK需要低延迟，需要被快速的送达目的地。如何让这类报文避过Buffer的延迟？ 使用DCTCP，减少TCP Incast带来的流量溢出。在保持高吞吐量的同时，将Buffer队列维持在一个较小的占用比例，以此让心跳报文/TCP ACK在Buffer中停留的时间大大缩短。 N3548支持DCTCP，同时具备ULL，所以会让心跳报文/TCP ACK传递的更快。 ECN首先由传输层进行能力协商 协商完毕后控制IP头的ECT、CE标致位 接收端接收到CE包，向发送端发送拥塞通知 目前TCP通过使用两个预留标志位来实现能力