数据挖掘的网络入侵检测..docVIP

数据挖掘的网络入侵检测：如何开始埃里克Bloedorn，艾伦D·克里斯蒂安森，威廉希尔，克莱门特Skorupka，莉萨M.塔尔博特，乔纳森TivelMITRE公司1820 Dolley麦迪逊大道。麦克莱恩，弗吉尼亚州22102（703）983-5274bloedorn@ 摘要 最近人们对计算机网络入侵检测中利用数据挖掘产生了很大的兴趣。在过去的两年中，MITRE一直在探索如何使数据挖掘在这方面非常有用。本文提供了在这个任务中的经验教训。基于之前的经验我们开始了这种类型的项目，我们建议考虑数据挖掘技术和需要的专业知识和基础设施的类型。本文有两个预期的读者：一是对数据挖掘中的了解甚微的网络安全专业人才，二是对网络入侵检测略懂一二的数据挖掘专家。 关键词：数据挖掘，入侵检测，计算机网络安全 1。网络入侵检测：这是什么？ 入侵检测从对计算机网络数据进行收集的仪器开始。流量模式的软件“传感器”监督网络信息流通量，当流量模式与保存的模式相匹配时它就会“报警”。安全分析师决定这些警报是否指示事件严重足以保证一个响应。一个响应可能是关闭网络的一部分，也许是提示与可疑流量相关的互联网服务提供商，或者简单的做不正常流量的记录以供将来参考。 如果网络很小并且特征还很鲜明，人类分析师的解决入侵检测方案效果很好。但是，当组织有一个大而复杂的网络时，这些人类的分析师很快就会被大量的需要他们检查的警报搞疲惫。 “例如，MITRE网络上的传感器，目前每天出现超过一百万的警报。并且数量还在不断增加。从不断增加的网络攻击中出现的这种情况，以及传感器模式的倾向选择性不明显（即，增加太多的错误报警）。作为商业工具当然不会提供代表企业整体水平的有多家传感器供应商生产的报警器。商业入侵检测软件包往往是很少或没有保持状态信息的签名导向。这些限制使我们调查的数据挖掘应用到这个问题。 2。数据挖掘之前的入侵检测 当我们第一次开始做我们网络的入侵检测时，我们没有把重点放在数据挖掘，而是放在更根本的问题上：如何将传感器执行？我们会得到多少数据？我们将如何展示这些数据？我们希望看到什么样的数据，如何查询才能最好地突出数据？接下来，数据的传送，传感器的调整，事件的调查和系统性能，将是我们关注的重点。分析师团队着手处理负载，培训和团队协调的日常问题。但在互联网上的侦察和攻击的水平不断增加，并伴随着数据量的收集，呈现在我们的分析师面前。我们开始怀疑我们的系统不足以对最危险的攻击进行检测，那些被对手使用的攻击是新的，隐形的，或两者兼而有之的。因此，我们认为有两个关于数据挖掘的问题困惑在心里：·我们能否发展一种方式以尽量减少分析师需要看的日报？·数据挖掘能否帮助我们发现那些传感器和分析师不能找到的攻击？3。数据挖掘：这是什么？ 数据挖掘其核心在于模式发现。数据挖掘者是在大型数据集用专门的软件找到规律（和违规）的专家。这里有一些特殊的事物使数据挖掘可能有助于入侵检测项目：·报警数据删除的正常活动，让分析师把重点放在真正的攻击·识别虚假报警发生器和“坏”的传感器信号·查找异常活动，揭示了真正的攻击 ·长期的认证，正在进行的模式（不同的IP地址，同样的活动） 为了完成这些任务，数据挖掘者使用以下一个或多个方法：·数据汇总统计，包括寻找离群·可视化：呈现出的数据的图形摘要·把数据聚类成自然类【曼加纳里斯等地2000年的数据】·联想发现规律：定义正常活动，得到异常发现[Clifton和Gengo，2000年；芭芭拉等人，2001年。]·分类：预测其中的一个特殊记录属于哪种类别[李和Stolfo， 1998年] 4。从使您的需求变为现实开始 自动化最令人期待的是，它可以并将要解决你所有的问题，而且不需要人为的参与。这是一个在入侵检测中的海市蜃楼。人类分析师始终需要监测人们所渴望的自动化系统的执行，确定新的攻击类别，分析更复杂的攻击。至于我们，首要关注的是减轻了分析师的一天又一天的负担。 实时自动反应在一些入侵检测环境中是令人满意的。但这使得对数据库性能的需求加大。该数据库必须足够快的速度来记录报警,同时产生的查询结果。异常的实时评分，或分类模型是可能的，但是这不应该与建立实时模型混淆。有这方面的研究[多明戈斯和Hulten，2000]，但是目前数据挖掘没有从大量的实时，动态变化的数据中学习的能力。它更适合批量处理收集的记录数。因此，我们采取了日处理制度，而不是每小时或每分每分的计划。5。选择一个广泛而有能力的项目团队 您的员工将需要三个方面技能：网络安全，数据挖掘和数据库的应用开发技能 ·当然，可靠的团队建立在网络和入侵检测的坚固基础上，但他们还需要有处理大而抽象的问题的能力。 ·数据挖掘者需要学习统计和机器理论基础,他们还需要学习涉及计算机网络的详细的概