基于IPFIX的DNS异常行为要点.PDFVIP

基于IPFIX的DNS异常行为 检测方法 清华大学信息化技术中心 马云龙 2014年11月14 日 清华大学校园网基本情况  校园网1994年始建， 目前校园网骨干万兆互联， 开通到cernet万兆链路， 到中国电信1Gb链路， 同时开通ipv6万兆上联， 校园覆盖2260颗无线AP 。  校园网规模：6万5千信息点， 3千500台交换机  校园网用户：15万用户， 6万5千活动用户  高峰在线数：5.1万个IP地址在线 2 基于IPFIX的网络流量日志系统 系统概况 1. 初衷：校园网用户流量审计系统 2. 繁衍：用户行为分析系统 3. 引申：用户异常流量检测系统 原系统设计  一种多层结构的HASH算法结构  设计每分钟1kw条ipfix流记录的内存空间，格式为源地址、目标地址、写入时间、更新时间、包数和字节数。  每一层表容量设计为16位（可存储65536条记录），16*4k=65536 ，1kw/65536=152层  每10秒钟检测一次缓存表中每条记录的更新时间，大于1分钟即写入sqlite文本数据库，同时清空该位置 基于IPFIX的网络流量日志系统 • 目前系统设计 1. 海量IPFIX条目的线性采集问题 2. 海量数据的存储问题 3. 海量数据的高效查找问题 nfdump是一款开源的netflow采集、存储、过滤、统计分析软件，目 前支持netflow v5 、v7和v9版本。 Nfsen是基于nfdump的web界面工具。 Nfsight分为两部分，后端以Nfsen插件安装，前端以PHP显示分析图 表。 系统运行情况-nfsen 系统运行情况-nfsight DNS异常行为检测 1. 每天IPFIX流数据200GB 2. 筛选后DNS数据6GB 3. 全校100台DNS 4. 每20秒处理一个5分钟文件 DNS异常行为检测结果 报警时刻Hf 报警时刻Hb 报警时刻Hp 总结及展望  总结： 结合校园网络运行的实际工作，基于IPFIX实现校园网流量分析系统。系统可有效帮 助网络管理人员全面掌握校园网内用户的使用网络习惯以及网络流量的分布特征。 本文以校园网内的DNS服务器为出发点，对于DNS流量进行深入分析，对校园网内 的DNS流量实时检测，发现有异常行为时可及时向管理员提出警告。  展望 整套系统目前已作为常规运行系统部署在校园网络运行中心 ，今后的主要研究方 向 ： 全面的网络可视化 DDoS攻击检测和防护 谢谢大家 a@tsinghua.edu.cn