借助网络分析软件排查门户网站无法访问原因-科来软件.pdfVIP

借助网络分析软件排查门户网站无法访问原因 故障描述 1、故障现象描述 某运营商为3G 用户提供访问的web portal 系统，在每天业务高峰（22:30 至23:30 ）时段都会接到大量的用户投诉：网站 访问不了！在故障时间段， web 服务器和各网络设备的进程、资源开销与平时相比并无异常；事后查看各设备的日志，也 找不到故障的原因。 2、基本环境描述 用户基本网络拓扑如下图所示，3G 手机用户经过无线网络后，通过3G 核心网访问web portal 系统，web portal 系统内部 由多台服务器上联到一台交换机，通过Redware 做负载均衡， 再通过出口路由器和防火墙上联到3G 核心网： 系统管理员一直尝试通过监控服务器和网络设备本身的状态、进程和日志的手段来解决问题，但这种传统的网管方式存在以 下几个难点： 系统结构复杂：系统管理员没有3G 核心网的管理权限，而web portal 系统内部需要监控的设备很多，工作量大，无法迅速 定位是web portal 系统内部还是3G 核心网端的问题； 无法关联分析：不同设备的监控数据无法进行有效的关联分析，无法拿出一个整体解决方案 ； 缺乏故障回溯数据：各设备的日志系统内容有限，无法对故障进行回溯； 监控网络设备时无法获取应用信息，监控应用服务器时无法获取网络信息。 分析方案设计 1、分析目标 借助网络协议分析工具，能够从网络的角度分析到应用信息，实现web portal 系统端到端的性能?嗫兀治鰓eb portal 系 统在故障时间段与平时相比有何异常，最终定位到有问题的设备节点。 2、分析设备部署 在web portal 的出口路由器上抓包分析，能够迅速的定位到时web portal 内部问题还是3G 核心网端的问题。 科来软件 Tel ：010 1/ 5 Fax ：010 Email ：sales@ 分析情况 1、基本流量分析 流量负载分析：由下图可见，web portal 系统的平均流量为8.060Mbps，与平时相比并无异常，也没有发现异常爆发的广 播和组播流量；平均包长为718.507 字节，并无异常。 流量突发分析：由下图可见，在故障时间段，并未发现明显的流量突发。 包尺寸分析：未发现异常 小结：通过流量的负载和突发分析，没有发现异常现象，可以排除网络异常流量原因，可进一步分析网络层以上的信息 2、TCP 连接分析 如下图所示，通过TCP 统计信息我们发现：在故障时间段，总共有135 个用户访问了该web 服务器，建立的TCP 连接数 为5235 个，而可疑的是这5235 个连接，有2213 次是通过TCP 复位发送（RST ）来结束连接，而不是通过正常的4 次握 手来结束连接。 科来软件 Tel ：010 2/ 5 Fax ：010 Email ：sales@ 3、通过三次握手分析网络时延技巧 业界通过三次握手分析网络时延的技巧如下图所示： 我们可以利用网络时延分析的技巧，为正常的TCP 连接建立模型，以便在对异常连接分析时能够提供对比。 4、成功连接的分析模型 某对成功连接的TCP 连接时序图如下所示： 由上图可见，该客户端通过三次握手与服务器建立连接，再进行数据传输：其中，第二个数据包“SYN，ACK”与第一个数据 包“SYN”的时间差T1=0.032 毫秒，可视为web portal 系统内部网络时延，第三个数据包“ACK”与第二个数据包“SYN，ACK” 的时间差T2=102.036 毫秒，可视为手机用户到web portal 系统的网络时延，包括了出口路由器、3G 核心网端的网络时延。 科来软件 Tel ：010 3/ 5 Fax ：010 Email ：sales@ 通过以上分析分析，我们可以得出这样的结论：正常情况下，web portal 系统内部网络时延大致在1 毫秒以内，而3G 核心 网端（包含出口路由器）的时延为100 毫秒左右。 5、快速发现失败连接 失败的连接一般数据量较少，因此我们根据“字节”进行排序，能够快速的定位到那些响应失败的连接： 6、失败原因分析 下图为某对失败连接的TCP 连接时序图，从图中可以看出，该客户端向服务器发起了三次建立连接的请求，三次都以失败