YY直播应用大数据决胜安全对抗的实践培训课件.pptVIP

《YY直播应用大数据决胜安全对抗的实践》 第一页，共三十六页。 大数据安全对抗应用背景 大数据分析在DDOS对抗中的应用 大数据分析在机器人外挂识别中的应用 1 2 3 5 第二页，共三十六页。 大数据让YY安全防御体系从“温饱”过渡到“小康” 第三页，共三十六页。 欢聚时代(YY)直播业务 -- 娱乐游戏教育 第四页，共三十六页。 DDOS 攻击 渗透 入侵 外挂 业务 破坏 逆向 破解 盗号 盗Y币 面临的安全威胁 第五页，共三十六页。 对抗技术演进 攻击、入侵、渗透等显著特征 模糊识别 精 TEXT 别 ADD CONTENTS 确识 从“精确的模式特征” 向 “模糊的模式特征”演进 通过大数据分析、数据挖掘、实时计算等分析模糊特征 第六页，共三十六页。 第七页，共三十六页。 第八页，共三十六页。 云防DDOS 业务风控系统 WAF KafkaStormHadoop 大数据(实时离线)计算平台 (K-Means、Decision Tree、Apriori等) 安全系统的log/message上报 外挂对抗系统 主机入侵检测 账号安全系统 计算结果在安全系统中应用 业务系统 (登陆、礼物、好友、搜索等) 登陆、支付等协议数据上报 计算分析结果: (IP画像库、设备 画像库等) 基线历史数据： bps/pps/qps/rt 等基线数据 大数据计算在平台框架 第九页，共三十六页。 大数据安全对抗应用背景 大数据分析在DDOS对抗中的应用 大数据分析在机器人外挂识别中的应用 1 2 3 4 5 第十页，共三十六页。 第十一页，共三十六页。 基于src_ip频率模式 基于报文特征频率模式 src_ip的散列度归属地 报文的重复度 攻击报文聚类挖掘 机器学习报文特征 IP画像库大数据 流量模型机器学习 防御DDOS技术演进 畸形报文特征 非法填充报文特征 黑名单攻击报文特征 白名单指纹特征 Syn cookie等人机挑战 第十二页，共三十六页。 （1）机器学习报文提取特征； （2）大数据分析疑似的攻击源ip； （3）基于大数据IP进行“柔性可活” 人机挑战和对抗； （4）基于历史大数据学习单ip响应延时 数学分布; 在DDOS防御中的应用场景 （1）报文特征根据经验输入程序； （2）根据当前请求频率分析 攻击源； （3）根据当前的请求src_ip对抗； （4）根据经验预先“拍”阈值； 第十三页，共三十六页。 场景一：大数据分析在报文特征机器学习和攻击源IP的识别 云防DDOS 检测模块 云防DDOS清 洗模块 服务器A 服务器B 服务器C C的攻击流量 清洗后C的流量 A的正常流量 B的正常流量 镜像或分光 A,B,C所有流 量 核心交换机 LVS+Nginx集群(WAF) C的流量被牵 引到清洗设备 正常用户 攻击者 大数据中心 WAF处理Http协议CC攻击 第十四页，共三十六页。 镜像流量 攻击检测引擎 流量回注 交换机 转发流量到业 务服务器 发现攻击 BGP宣告路由 流量清洗引擎 攻击？ 没有攻击 大数据分析 平台 第十五页，共三十六页。 云防DDOS在清洗比例低于阈值自动抓包 第十六页，共三十六页。 解析报文并提取关键信息 挖掘至长度为4字节的特征，发现特征：74 55 42 02 挖掘完毕，最长长度为4字节，共15个特征， 目前以文件方式记录 云防DDOS实现基于DPDK自动抓包分析报文特征 第十七页，共三十六页。 正文 第46字节 第45字节 … … Vx，其中x指代数据包正文部分第x个字节 恶意特征概率 发现特征 由于算法决定，特征串需要经过序号排 列最终符合阅读习惯，后续将根据调用 特征的接口所需规范进行翻译 实际所指代的含义 V40 V41 V42 V43 V44 V45 V46 V47 V48 V49 V50 64 ** 94 ** ** 32 67 ** 26 16 e7 64 54 94 ** ** 32 67 ** 26 16 ** 第十八页，共三十六页。 发现可疑IP 写文件记录 可疑IP 恶意显著性 抽查结果 与恶意IP库中已收录IP相互印证 云防DDOS在攻击报文中识别恶意IP 分析到第10个pcap文件 将前述的Apriori算法改造，可用于大规模 发现DDOS攻击中的恶意IP 第十九页，共三十六页。 1. 2. 3.