大数据安全分析之数据采集技术.docxVIP

第 第 PAGE 1 页 共 NUMPAGES 1 页 大数据安全分析之数据采集技术 　　大数据安全分析中的数据采集技术有哪些呢？下面将对数据采集技术进行一一简要介绍。 　　大数据安全分析之数据采集技术 　　大数据分析中的数据采集方式有：Logstash、Flume、Fluentd、Logtail等。 　　一、Logstash 　　Logstash是一个具备实时处理能力的开源的数据收集引擎。可以动态地从不同的来源收集数据，将数据处理（过滤、变形）过之后统一输出到某个特定地址，为将来更多样化的数据分析做准备。Logstash的作用包括： 　　收集各类系统日志：如Apache日志、log4j（Java程序日志）、Windows系统事件日志。通过Filebeat能够实现安全、快速的的日志传输。能够与很多采用UDP及TCP协议的工具对接，如JMX、NetFlow等等。 　　Elasticsearch的数据采集的利器，可以配合Elasticsearch和Kibana使用；对input、filter及output部分可以使用多种插件灵活配合部署用以实现不同功能。 　　在Web接口服务中，可以收集HTTP请求。能够与各类SQL或非SQL数据库对接，只要这个数据库支持JDBC接口。 　　二、Flume 　　Flume是由Cloudera公司开源的，分布式可靠，高可用的系统，它能够将