S5800交换机频繁出现CPU利用率高问题案例分析.docxVIP

案 S5800交换机频繁出现 CPU利用率高问题案例分析 0 推荐， 1035 浏览 3 收藏， 我的收藏 问题现象 某局点反馈， S5800设备使用过程中， CPU利用率突然上升到 100%，之后客户业务马上受到影响， 登录设备查看进程发现 arp 占 79%，但过了几分钟后 CPU又回到原来水平了。该故障情况不定时出现，每次出现持续一段时间。 原因分析 1、根据诊断信息，可以确定占用 CPU最多的进程是 ARP任务。现场通过抓包确认， CPU高时，设备收到较多 ARP报文。 2、查看设备配置，发现配置了 arp detection 功能。在配置了 ARP Detection功能后，设备会将收到的 ARP报文重定向到 CPU进行检查，这样可能会导致当网络中存在攻击者恶意构造大量 ARP报文发往设备，会导致设备的 CPU负担过重， 从而造成其他功能无法正常运行甚至设备瘫痪。这种情况下，可以启用 ARP报文限速功能来控制上送 CPU的 ARP报文的速率。但现场配置 arp 报文限速功能后， cpu 依然很高，后来关闭了 arp detection 功能后，故障仍然存在。 3、继续排查，通过现场在 CPU高时打印上送 cpu 的报文，以及收集如下信息查看 arp 进程的具体调用栈情况。 [S5800]_h [S5800-hidecmd]dis task 110 slot 1 cpu 0 [S5800-hidecmd]dis task 110 slot 2 cpu 0 通过查看任务调用信息，发现下面的配置导致 ARP进程偏高： arp anti-attack source-mac filter arp 广播报文默认上 cpu 处理 ，而 arp 单播回应报文只有目的 mac 是设备本身才会上送 cpu，默认情况下目的 mac 不是自己的不上，配置该命令后，导致过路的 arp 也会上送 cpu。 该命令的作用是：使能源 MAC 地址固定的 ARP攻击检测之后，该特性会对上送 CPU的 ARP报文按照源 MAC 地址和 VLAN进行统计。 当在一定时间（ 5 秒）内收 到某固定源 MAC 地址的 ARP报文超过设定的阈值，不同模式的处理方式存在差 异：在 filter 模式下会打印 Log信息并对该源 MAC 地址对应的 ARP报文进行过滤； 在 monitor 模式下只打印 Log 信息，不过滤 ARP报文。 如果超过阈值，因为模式为 filter ，因此会下发 ACL规则到硬件，丢弃 ARP的攻 击报文。另外，丢弃一段时间后，软件还会删除之前下发的 ACL，并重新检测。由于 ACL的添加、删除涉及到操作硬件寄存器，而且因为 ACL条目优先级排序，添、删 ACL会引起块搬移 （比如插入或移除整个 ACL表中间的某一条， 那么其后面的所有条目都要进行搬移），如果频繁添、删 ACL，而且设备中已经存在较多ACL条目的时候，就会导致 CPU占用率偏高。 解决办法 现场通过取消 arp anti-attack source-mac filter 命令（或把 filter 改成 monitor ），设备的 CPU已恢复正常。 建议与总结 1、该问题的本质是现网环境中存在 arp 攻击，现场应该及时排查 arp 攻击源，否则大量的 arp 报文上送到网关，到时候可能也承受不住； 2、若环境中可能存在 arp 攻击时，可以配置 arp anti-attack source-mac monitor 来监测 arp 攻击情况，当发生 arp 攻击时，设备会产生 arp 攻击 LOG告警信息，并且不会影响到设备 CPU利用率；