云计算与大数据技术理论及应用-林伟伟、彭绍亮-第9章 基于Spark聚类算法的网络流量异常检测.pptVIP

清华大学出版社《云计算与大数据技术理论及应用》配套课件林伟伟彭绍亮编著第9章基于Spark聚类算法的网络流量异常检测

提纲基本需求与数据说明设计方案实现方法与程序设计结果展示展望

基本需求1.如何迅速有效地发现各种新的网络流量异常，对保障系统和网络资源安全起着至关重要的作用。2.目前常用的安全技术如信息加密、防火墙等可以作为保护网络的第一道防线，但存在不能阻止内部攻击、不能提供实时检测等缺陷，因此入侵检测技术作为网络安全的第二道防线应运而生。

基本需求为何用无监督学习？1.在网络环境中要获取到足够的标记数据作为训练集是比较困难的，且在训练数据上代价高昂。2.非监督学习方法被逐渐应用到异常检测中，其根据数据的相似性进行分组，能克服监督学习方法中标记数据不足的局限性。

基本需求为何用Spark？1.Spark扩展了内存计算能力，非常适合用于涉及大量迭代的数据挖掘算法实现。2.传统的单机处理方法的效率太低。Spark可实现模型的并行化，同时也可在多节点中采集数据和处理数据。3.Spark集成了Hadoop生态系统的许多工具

基本需求案例目标根据以上所述的非监督学习特性和算法并行化的需求，基于并行聚类算法设计实现一个网络异常检测系统。

KDD99Dataset模拟美国空军局域网的一个网络环境，收集了9周时间的网络连接和系统审计数据，仿真各种用户类型、各种不同的网络流量