利用基于hadoop的入侵检测系统x.docxVIP

利用hadoop搭建基于数据挖掘的入侵检测系统——卞谦、徐大丁、凌杰、吴俊峰关于hadoop简述hadoopHadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop核心包括两大部分，map/reduce和HDFS,Map/Reduce是Google MapReduce的开源实现，Map的思想是将问题分解为若干小的问题，实现多个主机并行处理任务，Reduce的思想是将并行处理后的数据规约，形成最终结果。其模型如图所示：MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表HDFS是google GFS的开源版本，主要实现文件的分布式存储，其模型如下：其角色主要包括NameNode和DataNode。NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。存储所有关于文件系统名称空间的信息和日志信息。DataNode作用为响应