河南省移动NGCRM访问慢故障分析报告_20151019.docxVIP

XX省移动NGCRM访问慢故障分析报告2015年10月19日1.故障背景12.业务访问逻辑及部署13.分析结果24.分析建议25.分析过程3故障背景9月16日双中心内部域到核心域间，NGCRM Web与APP服务器间流量出现流量徒增，万兆互联接口流量峰值甚至高达6Gbps，为之前流量趋势的将近3倍。同时，发现其中单台APP服务器千兆单向利用率达100%,这会引起大量的网络丢包重传,服务质量极具下降直至不可用,各个营业网点在访问CRM体验变差,据调查访问严重时，点击网页响应慢达15s。针对以上故障现象，科来工程师部署科来网络回溯设备，配合客户应用及网络部门，对CRM的APP与Web间网络流量进行数据包级2-7层分析及网络流量趋势展现。业务访问逻辑及部署XX某省营业厅 NGCRMWebServer NGCRMAPP Server。CRM业务网络拓扑图如下，获取核心区域NGCRMWeb与APP服务器间镜像流量进行数据分析。部署示意图如下：分析结果XX省移动公司NGCRM Web-APP流量突增原因定位于Web频繁访问APP本地URL列表，引起的流量突发至千兆链路打满，业务性能发生大量重传丢包；省移动所有营业厅访问CRM的特定请求，均会使Web前端向后APP请求相应的URL列表判断，数据请求响应比达1：74，造成类似反弹攻击的效果；当天将APP本地URL列表迁移至Web服务器后，流量降至之前流量的40%，链路带宽利用率大大缓解，各个营业厅网点访问回复正常水平；分析建议18日迁移后继续分析报文，发现仍有Web请求APP的URL列表，建议应用开发根据当前报文继续优化应用架构，将APP上URL列表完全迁移至Web本地，防止今后由于业务扩大出现以上问题；建议下周一继续观察流量趋势，并进行业务访问逻辑分析优化；分析过程9月17日，到达客户现场，对当前CRM APP-Web流量进行分析，流量源为APP区其中流量较高的服务器，可见设备部署后至当前流量高峰已高达1Gpbs，并且当天为周末，流量居高不下不符合常规流量趋势。流量趋势图如下：从回溯中选取流量高峰时网络数据包进行分析，发现Web请求1.17KB（3个数据包），APP服务器返回87.14KB（139个数据包），请求响应数据比为1:74。继续分析还能发现有很多类似这样的响应，需进一步针对此类数据报文进行分析，查看之间交互什么样的内容。配合亚信开发人员，分析以上疑似异常报文发现，有很多“J U M P _ C E N T E R _ U R L”的调用，据开发人员说，此类属于CRM URL访问权限及安全访问控制的过滤条目，即外部访问CRM Web的URL请求，并不在Web本地缓存进行判断，而是通过Web向APP本地请求相应的URL控制列表。同时向开发人员了解到，最常用的URL列表内含290多条URL条目，即Web发起一个请求就会从APP返回290多条数据。初步怀疑此机制引起的突发交互流量。通过应用继续分析沟通，与当天17日16时禁用最常用的URL列表，并同时观察流量趋势，同比前一天及当天的流量趋势，发现流量出现明显回落。由以上结果，建议应用将APP上URL列表迁移到Web本地缓存并进行判断，以防止产生突发流量。通过应用开发沟通协调，与当天晚12点进行应用变更，18日继续观察流量趋势，上午流量峰值已下降至400Mbps，与周六相比下降比例达60%。并且在网管系统上观察，原4Gbps流量，已下降为1.5Gbps。建议周一继续观察流量趋势至此，可将CRM Web-APP流量突增原因定位于Web频繁访问APP本地URL列表，引起的流量突发，并引起CRM访问缓慢的现象。