永安业务流量直采 Agent 方案介绍.pdfVIP

永安业务流量直采Agent 方案介绍 性能及系统影响评估主要结论 1. Agent 基于libpcap （tcpdump 相同底层技术）技术方案实现，采集并筛选目标分 析网络包数据后，数据包直接发往分析设备的kafka 队列。相对采集系统环境不读写 磁盘，故无磁盘IO 占用； 2. Agent 部署后， 由于关注的流量需要转发到分析设备，网卡流出带宽有较大增加 （流出带宽在原有基础上增加原有的流入流出之和），需要评估企业购买的网络带宽是 否够用； 3. Agent 的底层旁路复制数据链路层网络包，经过内核缓冲区和用户层缓冲区；旁路 模式对底层网络数据无影响，数据流转过程会消耗一定的 CPU 和内存等设备算力资源； Agent 只会使用到服务器的一个CPU 核，实验室评测性能参考数据如下：（实际业务 环境会因流量不同稍有波动，偏差一般不会超过10%） 待采集业务环境 CPU 使用 内存使用 • 待采集设备进出总带宽 仅使用一个核，CPU 占用 数据缓存消耗内存小 100M 以内 小于5% 于100M • 关注的HTTP 请求并发 2000QPS 以内 • 待采集设备进出总带宽约 仅使用一个核，CPU 占用 数据缓存消耗内存小 为300M 以内 小于10% 于300M • 关注的HTTP 请求并发 5000QPS 以内 • 待采集设备进出总带宽约 仅使用一个核，CPU 占用 数据缓存消耗内存小 为500M 以内 小于25% 于600M • 关注的HTTP 请求并发 10000QPS 以内 简要原理介绍 网络数据包采集使用libpcap 技术方案，著名的网络分析工具tcpdump 就是在 libpcap 的基础上开发的。libpcap 的包捕获机制就是在数据链路层加一个旁路处理。 当一个数据包到达网络接口时，libpcap 首先利用链路层PF_PACKET 原始套接字从链 路层驱动程序中获得该数据包的拷贝，再通过Tap 函数将数据包发给BPF 过滤器。 BPF 过滤器根据用户已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入 内核缓冲区，并传递给用户缓冲区，匹配失败则直接丢弃。如果没有设置过滤规则， 所有数据包都将放入内核缓冲区，并传递给用户层缓冲区。所以整个过程并不干扰系 统自身的网路协议栈的处理。 业务保护相关的熔断方案 为进一步降低部署在业务服务环境下的网络流量直采Agent 对业务正常服务的影 响，Agent 内置熔断方案，熔断方案的主要细节如下： a. Agent 为单进程单线程程序，运行过程中仅使用多核CPU 架构下的一个核； b. Agent 实时检测运行环境整体的CPU、内存负载情况，当设备整体CPU 或内 存负载超过80%时，Agent 会暂停采集相关运算，静待系统负载降低；系统负载 低于预设的阀值后会重新开启采集； c. Agent 为单进程程序，主动杀死后不会自动重启，需人工干预方可恢复（特定 设计，便于紧急情况下的处置）； 补充： 为进一步限定Agent 程序的资源消耗，如采集环境为k8s，可通过k8s 进 一步限制Agent 进程的cpu 和memory 上限。 紧急情况下关闭进程方案 紧急情况或问题定位过程，需要排除Agent 采集程序影响时，杀死进程即可，后续恢 复需人工干预。 1. 杀死采集进程及关闭采集服务 a. 杀死进程 i. 查找程序进程号ps -aux | grep packet-taker daemon ii. 关闭程序kill pid b. 关闭采集服务 i. 关闭采集服务systemctl stop packet-taker ii. 关闭开机启动systemctl disable packet-taker 2. 检测及恢复采集服务 a. 启动服务进程 i. 开启采集服务systemctl start packet-ta