基于Flume的海量日志统一分析平台--计算机信息管理自学考试毕业论文.docVIP

中南大学 高等教育自学考试毕业论文 论文题目：基于Flume的海量日志统一分析平台 报考专业：计算机信息管理（本） 考生姓名： 考 籍 号： 工作单位： 通讯地址及邮政编码： 联系电话： 手机： 电子邮箱 （Email）： 2017年3月8日 目 录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc462042452 1 引言  PAGEREF _Toc462042452 \h 1  HYPERLINK \l _Toc462042453 1．1 课题背景及意义  PAGEREF _Toc462042453 \h 1  HYPERLINK \l _Toc462042454 1．2 研究现状  PAGEREF _Toc462042454 \h 2  HYPERLINK \l _Toc462042455 1．3日志收集系统的发展趋势  PAGEREF _Toc462042455 \h 2  HYPERLINK \l _Toc462042456 1．4课题研究内容  PAGEREF _Toc462042456 \h 4  HYPERLINK \l _Toc462042457 1．5论文组织结构  PAGEREF _Toc462042457 \h 4  HYPERLINK \l _Toc462042458 2 Flume等技术介绍  PAGEREF _Toc462042458 \h 4  HYPERLINK \l _Toc462042459 2．1 Flume框架介绍  PAGEREF _Toc462042459 \h 4  HYPERLINK \l _Toc462042460 2．2 Kafka架构介绍  PAGEREF _Toc462042460 \h 8  HYPERLINK \l _Toc462042461 2．3 Storm架构介绍  PAGEREF _Toc462042461 \h 9  HYPERLINK \l _Toc462042462 2．4 ElasticSearch架构介绍  PAGEREF _Toc462042462 \h 10  HYPERLINK \l _Toc462042463 3 日志分析平台需求分析  PAGEREF _Toc462042463 \h 11  HYPERLINK \l _Toc462042464 3．1 日志分析平台设计目标  PAGEREF _Toc462042464 \h 11  HYPERLINK \l _Toc462042465 3．2日志分析平台需求  PAGEREF _Toc462042465 \h 11  HYPERLINK \l _Toc462042466 3．2．1日志采集模块Flume Agent的功能需求  PAGEREF _Toc462042466 \h 12  HYPERLINK \l _Toc462042467 3．2．2日志收集模块Flume Server的功能需求  PAGEREF _Toc462042467 \h 12  HYPERLINK \l _Toc462042468 3．2．3 日志统计模块Storm的功能需求  PAGEREF _Toc462042468 \h 12  HYPERLINK \l _Toc462042469 3．3日志分析平台运行环境需求  PAGEREF _Toc462042469 \h 12  HYPERLINK \l _Toc462042470 3．4本章小结  PAGEREF _Toc462042470 \h 12  HYPERLINK \l _Toc462042471 4 统一日志平台总体架构设计  PAGEREF _Toc462042471 \h 13  HYPERLINK \l _Toc462042472 4．1本章小结  PAGEREF _Toc462042472 \h 13  HYPERLINK \l _Toc462042473 5 统一日志平台具体实现  PAGEREF _Toc462042473 \h 13  HYPERLINK \l _Toc462042474 5．1 日志采集模块Flume Client的实现  PAGEREF _Toc462042474 \h 14  HYPERLINK \l _Toc462042475 5．1.1日志采集模块Fl