linux集群上配置Ganglia监控系统并监控solr.docxVIP

文档版本信息文档版本号更改内容简介更改人日期V1.0部署文档初稿梁永星2014/09/10V1.1增加技术技巧以及问题总结梁永星2014/09/11V1.2增加集群分组部署梁永星2014/09/12V1.3增加Ganglia对solr的监控梁永星2014/09/15安装环境CentOS Server 6.4安装gmetad的机器：02安装gmond的机器：02，03，04安装浏览监控web页面的机器：02二、Ganglia的介绍Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia-web。gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。gmetad 也是一个守护进程，他定期检查gmonds ，从那里拉取数据，并将他们的指标存储在RRD存储引擎中。它可以查询多个集群并聚合指标。RRD也被用于生成用户界面的web前端。ganglia-web 顾名思义，他应该安装在有gmetad运行的机器上，以便读取RRD文件。一般来说一个集群的每台机器上都需要安装gmond，只要负责展示web界面的机器安装了gmetad即可。Ganglia采用Internet IPv4 类D地址中的的组播进行数据请求。主要是为了实现一对多节省带宽的需要。其实现原理为gmetad发送一个请求到一个组播地址，由于是组播地址，所以gmetad只需发送一次请求包即可完成对所有gmond的轮询。（如果是单播，则Ganglia需要向每台服务器均发送一次轮询请求，这样的话，集群数量多了，主服务器光发送就会占用不小的带宽。而Ganglia本身是为大规模集群所做的HPC而生的，如果占用很高的带宽和占用很大量的CPU资源去处理网络数据就不符合其设计理念了。）然后gmond通过这个请求将采集到的数据返回给gmetad，gmetad将数据保存在rrd数据库中，然后通过web界面绘图展示。三、安装Ganglia在服务器端：#安装基础的开发包直接在linux中使用下面命令下载，会有几部提示，都按：y全部下载即可yum install –y wget apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel rpmbuild glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel rrdtool*#安装jmxtrans执行完之后，再以此执行以下的与语句，在上面安装执行完毕之后，执行以下的几个命令：rpm -ivh /downloads/jmxtrans/jmxtrans/jmxtrans145842.6a28c97fbb-0.noarch.rpm #安装绘图工具：rrdtool它用于数据存储和可视化yum install rrdtool#安装相应的gangliayum install ganglia*执行这个命令的时候也会有几个提示，Is this ok[y/N]：都按：y全部下载即可至此，相应的Ganglia以及其需要的支撑软件全部安装完毕。在客户端：除了不需要安装rrdtool这个之外，其他的都需要进行安装，由于部署的是监控solr以及集群cpu、memory、tcp等基础信息，所以不仅需要启动gmond服务，还需要启动jmxtrans的服务。因为在jmxtrans的路径下增加了solr.json配置文件（针对solr监控的配置信息）。四、配置相应的文件配置gmetad.conf文件（ganglia服务端配置文件）vim /etc/ganglia/gmetad.conf增加data_source “solrcluster” 如果是集群环境配置，那么需要这样配置：data_source solrcluster localhost clnode1 clnode2其中localhost可以为：，也可以是你本服务器实际的地址即：02，后面的clnode1，clnode2为集群内的节点（注意：在主服务器上配置多个节点，使用这台服务器去监控集群中的所有节点的信息，我本地服务器默认是102，来监控102、103、104这三台服务器的信息）那么此时的clnode1和clnode2即需要在03和104上的gmnod.conf中的cluster的name里配置。如下图所示的配置。之后重新启动gmetad.conf和gmode.conf这两个服务即可。data_source solrcluster solrtest1 solrtest2