XXX应急响应报告_2907.doc

文档编号 XY-3-090 XXXX XXXX填报系统应急响应报告 XXXX技术有限公司 文档信息 文档名称 XXXXXXXX填报系统应急响应报告 文档管理编号 XY-3-0907002 保密级别 商密 文档版本号 V1.0 制作人 制作日期 复审人 复审日期 扩散范围 适用范围 本文档为XXXX安全服务中心于2019年7月1日向XXXX（以下简称“XXXX”）所提供的XXXX填报系统应急响应报告。 版本变更记录 时间 版本 说明 修改人 一、客户信息 客户名称 XXXX 客户联系人 姓名 电子邮件 电话 移动电话 二、服务人员信息 服务人员信息 人员 所属部门 XXXX安全服务中心 三、事件概述 事件简述 XXXX填报系统在6月30号,7月1号下午15时左右出现无法正常访问现象，服务器表现为应用平台服务WebLogic无法响应用户正常的WEB请求。 事件原因 初步定义为WebLogic平台程序配置或设计问题（暂未完全肯定） 开始处理时间 2019年7月1日 19时 处理结束时间 2019年7月2日 1时 关键字 DDOS攻击、WebLogic、负载均衡、阀值、异常 四、事件处理过程 故障现象描述 根据XXXX工作人员口述，事件初次发生于2019年6月30日 15时,现象为用户无法通过互联网正常登录广东省2019年XXXX填报系统，后台表现为应用系统weblogic不再响应请求，报出错提示，此时应用服务器CPU，内存等资源均未出现过高负荷。 7月1日 15时左右，问题再次重现，故障现象与6月30日相同 过程描述 1．2019年7月1日 19时 接到公司通知称XXXX系统出现异常，可能为DDOS攻击，要求立即响应并配合公安网监处理。 2．2019年7月1日 19时40分赶赴现场，从现场工作人员的描述中了解到 当前系统已经恢复正常，出现异常的情况的时间约为2个小时。管理人员怀疑可能存在DDOS的可能性，同时此时也的确为XXx使用系统的高峰期。 3．为确定故障原因是DDOS所致还是应用系统本身的问题，随后对网站访问及流量监控图进行了查看，从图表的分析来看，所有访问均是平滑曲线，曲线的增长率符合以往的规律，与通常的DDOS攻击曲线完全不同。后经管理人员描述，称系统无法访问时，切断WEBLOGIC与前端负载均衡之间的连系，WEBLOGIC仍无法正常工作，而此时CPU，内存占用率并不高，而传统的DDOS主要是通过发送大量的请求或异常数据包消耗系统资源为目的。 从管理员口头提供的信息及现场所观察到的数据来看，暂排除此次故障是因为DDOS攻击所致。 4．XXXX报考系统大概的网络结构图（根据口述后的简化图，数据库及其它未体现在下图中）为： 为把问题一步步缩小，现将整个系统分成三大块，防火墙区，负载均衡服务器，Weblogic服务器区，已发现问题的区域有 防火墙区（电信入口的防火墙工作压力过高，在访问高峰期系统资源使用率达到100%） WEBlogic程序出现异常，丢出java.net.SocketException: Too many open files 通过对应的曲线图的观察及多方技术员的沟通，后大家一致认为是weblogic对文件打开处理有一定限止，达到最大阀值后，便会引起异常致使weblogic不再响应请求，也不释放已有的资源，对外的表现便是访问无任何反应。 5．23时相关领导来到现场，配合对方技术人员会诊，最终确定应对方案： A．为缓解weblogic处理压力，将采用二组weblogic应用服务对请求事件进行处理相应，另一组weblogic将在三小时内搭建完毕； B．对于防火墙负荷过重，最终的方案为将原防火墙的高端版本（1000M防火墙）作为备份防火墙，将现有防火墙的配置文件导入1000M防火墙中，如果方案A不能解决问题，则将网络中的防火墙置放成1000M防火墙； C．在网站中贴出公告，要求XXx避开高峰期，在合理的时间点登录系统； D．延长XXx登录填报系统时间； 6．7月2日 0时，确定方案，分配到人，各自执行对应任务。 7．截止报告完成时系统工作正常。 五、事件相关结论与建议 结论： 此次的应急响应结论如下： XXXX的XXXX填报系统故障并非DDOS攻击所致； XXXX填报系统本身的事件处理存在异常，对于大量的请求时该系统不能将指令下发到CPU，也没能给出系统的工作数据，而是整个系统处于瘫痪状态； Weblogi