云WAF与大数据实时分析实践.pptx

云WAF与大数据实时分析实践技术创新，变革未来大纲背景闭环设计大数据分析构建实践以后的路痛点难点方案规则源部署日志前置分析接口提供后置学习架构特色现状可视化自动化计划背景—痛点带宽、效率瓶颈成本高昂恶意IP封禁恶意用户封禁…不适合分布式多机房硬件 ? Struts 2 s2-032之类的0day或者1day很多商WAF 业WAF都不支持，并且响应更新慢业务安全需 求SQL注入XSS跨站LFI、RCE..应用安全防 护需求规则定制难业务线长难以全部迁 移商业云WAF不能精确拦截发布更新周期长规则生效慢应急响应需 求背景—难点10种左右的系统版本5种左右的web容器N种不同的编码语言不同的底层系 统不同的web服 务器背景—方案Cloud-based web application firewalls集中式平台，客户端无需任何改变仅需要DNS解析指向检测信息共享闭环设计—规则源外部搜集，内部整理通过日志、流量运用规则做实时计算将实时计算的结果进行分析将误报率低、漏报率低的规则策略发至线上规则优化OWASP-Core Rule Set外部搜集实时计算内部经验误报统计离线分析大数据分析—前置分析基于STORM对流量进行实时计算更宽泛的规则策略实时分数计算可自动或手动与WAF联动闭环设计—部署结合nginx，一行配置，无缝开启waf结合Load Balance，低成本部署产生高性能REST API用于管理部署 加载维护 管理可用 性耦合大数据分析—接口提供RESTful API接口支持动态规则，拦截基于IP、UA、UID等策略组合支持静态规则，拦截基于参数、内容的web攻击拦截支持一键开启关闭WAF、一键切换拦截、检测模式、一键bypass支持状态查询、规则下发、规则更新等功能闭环设计—日志处理Supervised Learning误报率、漏报率机器学习为辅、人工为主误报率、漏 报率优化日志搜集优化feature分类器分类优化参数离线训练大数据分析—后置学习基于SPARK stream、SPARK mllib针对WAF日志进行解析、分析、统计、学习自动分析每日上百万日志中误报条目人工确认结果作为训练数据输入Log fileLogstashKafka Kafka ZookeeperSpark Stream Spark ML Web构建实践—架构ManageWebKafka-Logstash-ES-KibanaREST APILBWAF REST APIREST APILBWAF REST APIService ClusterApp ClusterBillions of RequestService ClusterApp Cluster构建实践—特色结合LB，对HTTPS友好快速部署、规则策略秒级生效引擎一键进入拦截、检测、关闭模式预留REST API接口，配合风控、反爬规则来源于Storm实时计算优化后构建实践—现状每天处理十亿级请求，每次处理耗时0.2ms左右每天拦截百万次攻击，误报率低于千万分之一保护成千上万的应用构建实践—可视化以后的路—自动化无人值守？机器学习判定误报、漏报？自动加白？自动识别可疑访问？未知攻击识别自动化高准确率低运维成本以后的路—计划High performanceMore featureMore api