(利用tcpcopy引流做模拟在线测试.docxVIP

一、工具介绍Tcpcopy是一个分布式在线压力测试工具，可以将线上流量拷贝到测试机器，实时的模拟线上环境，达到在程序不上线的情况下实时承担线上流量的效果，尽早发现bug，增加上线信心。Tcpcopy是由网易技术部于2011年9月开源的一个项目，现在已经更新到0.4版本。与传统的压力测试工具（如：abench）相比，tcpcopy的最大优势在于其实时及真实性，除了少量的丢包，完全拷贝线上流量到测试机器，真实的模拟线上流量的变化规律。二、Tcpcopy的原理1．流程现在以nginx作为前端说明tcpcopy的原理：上图中左边是线上前端机，右边是测试前端机。线上前端机开启tcpcopy客户端（tcpcopy进程），测试前端机开启tcpcopy服务端（interception进程），且两台机器上都启动了nginx服务。Tcpcopy拷贝一次流量访问的步骤如下：①　一个访问到达线上前端机；②　socket包在ip层被拷贝了一份传给tcpcopy进程；③　tcpcopy修改包的目的及源地址，发给测试前端机；④　拷贝的包到达测试前端机；⑤　测试前端机的nginx处理访问，并返回结果；⑥　返回结果在ip层被截获、丢弃，由intercpetion拷贝返回结果的ip header返回；⑦　ip header被发送给线上前端机的tcpcopy进程。1．代码分析1) 首先，在链路层或者IP层，在把包交到上一层之前，系统会检查有没进程创建了socket(AF_PACKET,SOCK_DGRAM,…)或socket(AF_INET,SOCK_RAW,…)等类型的套接字（即原始套接字sock_raw），如果有，这个包就会被复制一份并发送到这个socket的缓冲区。tcpcopy就是通过这种方式来复制访问流量的。上述的两种抓包方式，前者工作在数据链路层，后者工作在IP层。在tcpcopy中不同版本所使用的抓包函数不同，在0.3版本中是：int sock = socket(AF_PACKET,SOCK_RAW,htons(ETH_P_IP));而在0.4版本中，用的是：int sock = socket(AF_INET,SOCK_RAW,IPPROTO_TCP);以上两个函数分别工作在链路层和IP层，前者会把进来和出去的包都抓取到，后者只 抓取到进来的包。2） Tcpcopy在发送拷贝的数据包的时候，使用了如下socket：sock = socket(AF_INET, SOCK_RAW,IPPROTO_RAW);并对这个socket设置了IP_HDRINCL：setsockopt(sock, IPPROTO_IP, IP_HDRINCL, n, sizeof(n));因此网络层不会再增加ip header. 发送之前更改了包的目的ip和端口：tcp_header-dest = remote_port;ip_header-daddr = remote_ip;最后调用sendto函数发送包到测试前端机：send_len = sendto(sock,(char *)ip_header,tot_len,0,(struct sockaddr *)toaddr,sizeof(toaddr));3） 在测试前端机上加载了ip_queue模块，并设置iptables规则：iptables -I OUTPUT -p tcp –sport 80 -j QUEUE复制的访问流量到达测试前端机上的nginx，nginx处理并返回结果，这个结果包在IP层会被前面所设置的iptables规则匹配发往目标（target）QUEUE。而QUEUE是由ip_queue模块实现。下一步这个匹配包就会被内核经过netlink socket发往用户空间的程序（在这是tcpcopy的服务端interception进程）。netlink socket是内核与用户进程之间的一种通信机制，是网络应用程序与内核通信的最常用的接口，可以用来配置网络的各个方面（比如包的过滤）。interception用如下方式创建netlink socket：int sock = socket(AF_NETLINK,SOCK_RAW,NETLINK_FIREWALL);NETLINK_FIREWALL协议有三种消息类型：IPQM_MODE,IPQM_PACKET,IPQM_VERDICT.内核通过一个IPQM_PACKET消息将刚才截获的返回结果包发送到interception,interception给内核发送一个IPQM_VERDICT消息告诉内核对这个包的裁决结果（DROP,ACCEPT,etc.）。tcpcopy通过这样的办法将测试前端机上nginx返回的结果截获丢弃，并由interception返回一个ip heade