insight主机N_A分析思路.docx

文字复制：

定位思路：（各组件日志问题可查看对应大数据组件、insightAgent问题页面）

可随便挑一台机器查看详情-性能数据?是否正常，若正常说明中间大数据组件一系列流程没有问题

可优先执行以下步骤中的第三步-消费kafka，若无法正常消费就看前面的insightAgent、filebeat、kafka问题，否则查看后面logstash、di、es、insightServer以及具体采集字段的问题

数据链路大概是：is写采集任务到zk，ia读zk定时调采集脚本写日志到it_log/collect，fb把采集内容送到kafka，di消费清洗后送到es，is从es查数据展示

is写组件信息、采集指标到zk，ia监听zk节点解析节点内容、创建采集任务，根据采集频率创建定时器，定时采集。指标分为3类：ia本地执行采集脚本(如果没有大数据指标则去掉这个)、ia执行sql语句、通过ia-oma通道发送给oma执行dbtool/脚本，返回给ia，最后ia发送到kafka

如果个别服务器na，先查对应服务器的ia和fb。

如果所有服务器都na，先查es:curl-uelastic:Insight@2021_es-XPOST-HContent-Type:application/jsonhttp://$es_ip:9200/insight-hostdynamic/_search?pretty-d{sort:[{create_time:{order:desc}}],size:1}|egrep-wcreate_time|ip。

步骤

检查项

命令

说明

步骤

检查项

命令

说明

1

检查异常机器insightAgent采集日志时间是否更新

1.su-insight

2.检查ia和fb的进程是否存在

ps-ef|grepagent_conf.yml

ps-ef|grepfilebeat（613以后不使用fb）

3.观察采集日志是否更新：

cd?$HOME/insightAgent

ll-rtagent/host_shell/it_log/hoststatic.log

ll-rt?agent/host_shell/it_log/hostdynamic.log

4.检查ia和fb日志是否有报错：

cd?$HOME/insightAgent

viewagent/insight.log

viewfilebeat/filebeat.log

如果进程不存在或有异常，可以重启对应进程。

重启命令：agentdbmoni-stop;agentdbmoni-start

filebeatdbmoni-stop;filebeatdbmoni-start

如果hoststatic.log、hostdynamic.log内容不更新，重启insightagent。

拍照：

ll-rt$HOME/insightAgent/agent/host_shell/it_log

ll-rt$HOME/insightAgent/agent

2

查看kafka集群是否正常

su-insight;

#解密zk鉴权文件

source~/bin/alarm_sender.sh;

modifyPasswordzookeeper;

#登录zk

sh~/bigdata/zookeeper/bin/zkCli.sh-serverlocalhost:32181

#进入zk后输入鉴权

addauthdigestinsight:InsightZk-2021

#检查kafka集群数量是否正确

ls/brokers/ids

#查完之后记得加密回去

modifyEncodedPasswordzookeeper;

其他

手动解密方式为：修改$HOME/bigdata/zookeeper/conf/zk_client_jass.conf中的密文为明文（InsightZk-2021），原密文不可注释掉保留，直接替换

若kafka节点数缺失，根据缺失节点号（与$HOME/bigdata/kafka/config/perties中broker.id对应）去相应机器查看kafka进程及日志（$HOME/bigdata/kafka/logs/server.log）是否正常。

重启命令：kafkadbmoni-stop;kafkadbmoni-start

拍照：

ls/brokers/ids

3

消费kafka数据

su-insight;

source~/bin/alarm_sender.sh;

modifyPasswordkafka;

#进入$HOME/bigdata/kafka/bin目录，替换相应ip、port