云平台建设与运维类企业案例 Logging、云平台建设与运维类企业案例 EFK工具操作指南.docx

PAGE 3 EFK操作指南 摘 要：云平台使用Kibana作为EFK日志分析工具，Kibana是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。本章将学习如何使用Kibana分析统计数据。 关键词：EFK；Discover；visualization；dashboard； 知识学习 1. 简介 云平台使用Kibana作为EFK日志分析工具，Kibana是一个使用Apache开源协议，基于浏览器的Elasticsearch分析和搜索仪表板。Kibana非常容易安装和使用，整个项目都是基于HTML和Javascript进行书写，所以Kibana不需要任何服务器端组件，仅需一个文本发布服务器。 基于Kibana可以对数据进行全面的搜索查询和统计分析，操作简单便捷，容易上手。关于Kibana的使用介绍分为三个部分： 学会使用Discover探索和分析日志 创建日志的可视化（visualization） 创建多个可视化（dashboard）的仪表盘 2. 使用Discover功能分析日志 点击“Discover”菜单，因为此时filebeat-6.2.4-*被设置为默认检索匹配模式，所以当前的查询默认在filebeat-6.2.4-*下进行。查询框中默认值是“＊”，代表查询所有日志。 2.1 使用条件语句查询 Elasticsearch构建在Lucene之上，因此过滤器语法和Lucene相同。在搜索时允许输入布尔运算符、通配符和字段进行筛选。 2.1.1 字符串查询 输入字符串查询数据，如果要搜索确切字符串需要使用双引号引起来，如果不加引号过滤器会匹配字符串中的每个序列。比如：输入[“e9f4a8af-862c-4046-af07-ac2ee3fd7a6d”]就可以查询id为e9f4a8af-862c-4046-af07-ac2ee3fd7a6d的云主机的所有日志数据。 2.1.2 基于字段查询 比如：输入message:keystone可以查询openstack中keystone组件的所有日志。 2.1.3 正则表达式查询 kibana支持正则表达式过滤器和表达式。比如：输入neutron.*可以查询neutron所有子组件的日志。 2.1.4 布尔查询 布尔运算符（AND，OR，NOT）允许通过逻辑运算符组合多个子查询。需要注意的是，运算符AND/OR/NOT必须大写。比如要查找openstack nova组件的错误日志，可输入nova AND error来实现联合查询。 2.2 使用过滤器查询 以下列举两个使用过滤器的例子。 举例1: 过滤所有搜索结果，比如只显示在某字段中包含了特定值的所有日志。也可以创建反向过滤器，排除包含特定字段值的所有日志。比如存在字段_id，现在对该字段进行过滤，可以选择字段并点击add。 如果想要移除，点击“X”移除该字段即可： 举例2:使用加号过滤器和减号过滤器进行搜素。 加号过滤器（file for value）：正过滤器，搜索那些在字段中包含该值的数据。比如点击字段source后方的加号，就可以搜索出所有source为/var/log/keystone/keystone.log的日志纪录。 减号过滤器（filter out value）：负过滤器，搜索在字段中不包含该值的数据。 2.3 Elasticsearch参考文档 Elasticsearch的分析和搜索由两个部分组成，一是通过过滤器进行搜索，二是通过组合查询语句进行查询和分析。想了解更多关于Elasticsearch的内容，请参考以下两个文档： https://www.elastic.co/guide/cn/elasticsearch/guide/current/combining-filters.html https://www.elastic.co/guide/en/elasticsearch/guide/current/_queries_and_filters.html 3. 使用Visualize可视化功能 切换到visualize界面，在这个界面下，可以创建新的可视化图表，或者打开和编辑已有的可视化图表。 3.1 创建新的可视化 这里简单说明下可视化图表的创建过程： 第一步：选择需要创建的图表类型，比如区域图（Area）、数据表（Data table）、线性图（line）等； 第二步：选定搜索源。可以创建新搜索或者直接使用已经保存的搜索，默认为filebeat-6.2.4-*； 第三步：设置图表显示内容； 第四步：应用以上设置完成可视化图表创建。 3.2 打开和编辑已有的可视化 在可视化（Visualization）界面下方，显示的是已经新建好的可视化图表。点击列表中的任意一