troy项目分析概述.pdfVIP

详解  首先 端通过JMX类似观察者模式将被 系统的各种指标数据通过连接Agent,写 入到socket 中,Agent从 的Socket 中 到数据 就放到异步队列中去,然后通过 跟Server端的连接,在Server模块中去分析并 数据到相应的数据库(Hbase/Mysql)中,  处理方式多采用一个工作队列、多个工作 线程，需要处理任务的线程将任务丢入队 列，由工作线程来完成;类似后续的定时任 务也是相同的工作原理; 日志文件 流程 日志文件 描述  Agent会会启动一个线程用来读日志文件,将日 志文件的数据提供给kafka,然后forwarder模块 从kafka拉取数据以json格式转存至ES,然后web 可以通过ELK,以kibana嵌入到页面中可以进行 日志的搜索,读日志时候的异常处理规则,当 agent重启的时候会保存一个log临时文件到指 定 并标识上次的位置,下次启动时会根据该 临时文件的位置来读,有两种情况不可以续读: 1. agent必须是正常stop,不能是强杀类似:kill -9; 2.日志文件不能滚动,跨文件的,即间隔时间短, 或数量少 主要业务场景时序图 1. 以二方库形式被要 系统依赖配置,并和配置的agent以 socket方式连接(16777) 2. Agent初始化时会建立跟server:16888之间的数据通道,在启动后 起一个线程用来 系统日志将数据发往kafka,同时 16777,16999 3. Agent从和 的socket连接中拿到 到的各种类的数 据以TLV数据协议的方式传递 4. Agent会跟server通过16888建立连接,将 的各类数据传送给 server,这里的server支持集群,配置时IP地址以逗号分割,集群采用IP Hash的方式 5. Server端拿到TLV的各类数据解析并以多表形式 到 Hbase/Mysql 6. Forwarder模块从kafka拉取日志数据 7. Forwarder模块并以json 方式 到ES,ELK方式将数据分析,并通 过kibana类似H5的页面共用户搜索查询 8. Web界面通过查询Hbase/Mysql汇总展示, 日志系统界面通过嵌入 的kibana页面,方便用户搜索查询日志 规则分析  Forwarder在 的功能中是用来处理关键 字 类型的,是在消费Kafka 日志消息的同 时检测是否有在Mysql配置的 关键字;  最终调用server 的 处理接口 api/alarm/process将 的信息存入Mysql 即: 信息表;  Task模块每分钟会根据 规则然后查询 Mysql的一些基础数据最终调用Server 的报 警发送接口api/alarm/sendmsg,通知发送规 则中该 规则的联系人 部署图 部署概述 : 配置在要接入tory的系统中,以二方库形式; Agent: 安装在被 系统的服务器上,以服务形 式,每个实例都需要部署; Server: 安装在特定的服务器上,以集群方式部署; Kafka: 分布式部署的某些服务器上; Forwarder: 以服务形式部署在多台服务器上; DB,ES:集群式部署; Web:部署在某台服务器上即可; 数据流转 项目模块结构 Troy-agent 依赖 模块 依赖模块