实时日志监控系统.docxVIP

实时日志监控系统 实时日志监控系统 目标： 实现对系统日志的实时监控，快速获取系统运行时异常日志，并以邮件的方式通知运维人员 关键技术： flume、rocketmq、jstorm、hbase 整体架构图： WebServerWebServerWebServerSourceSinkChannel flume-agentEmailServerEmailBoltIsErrorBoltHbaseBoltJstormSpoutLogTopicTag1Tag2Tag3 RocketMQTag1ErrorTableTag2ErrorTableTag3ErrorTableHbase 系统描述 系统采用三层：数据采集(flume+rocketmq)、数据计算层(jstorm)、数据存储层 flume对应用系统实时产生的日志逐条进行收集，发送到rocketmq消息队列 jstorm从rocketmq拉取日志，逐条对拉取到的日志进行分析，如果日志符合预警条件则给相关人员发送邮件，并且将日志信息写入hbase，方便查看。 架构设计考虑 可用性 1：agent挂掉 1）：机器挂掉导致agent挂点，这个没影响，机器挂了不会产生日志 2）：agent