it大数据添加搜索条件过滤日志数据.pdfVIP

知 IT大数据添加搜索条件过滤 日志数据 谢超凡 2017-06-22 发表 一、配置需求 IT大数据平台 （下文简 “ITOA” ） E0103版本中的核心功能之一就是可以在web界面 ，通过对 日志 关键字段进行搜索 ，进而到达过滤 日志的目的。在web界面上能够对 日志数据进行快速的全文检索 ， 依赖的是基于的Lucene的分布式搜索引擎Elasticsearch ，所以所有在界面下发的搜索条件都需要符合 lucene语法。 二、配置步骤 ： 在ITOA的 “搜索”界面 ，提供两种添加过滤条件的方法 ： l 添加过滤器 l 在搜索框写lucene语法写过滤条件和逻辑 1、 添加过滤器 在搜索界面左侧罗列了待搜索 日志数据的所有字段 ，点击某个字段默认显示数量前5的值 ，点击值旁边 的 “ ” ，出现类似下图样式的过滤器 ，可以过滤出包含这个值的日志 ； 点击 “ ”出现类似下图样式的过滤器 ，过滤出不包含这个值的日志。 2、 在搜索框写 lucene 法写过滤条件和逻辑 添加过滤器的方法不够灵活 ，特别是面对需要模糊匹配、区段匹配的场景 ，所以可以直接在搜索框直 接写搜索条件 ，下面介绍常用搜索条件的语法规范。注意 ：编辑搜索条件需要英文标点。 A、 搜索字段关键字 精确搜索特定字段的特定值 ，需要用 ＂＂包括值。 field: ＂value ＂； 比如src_ip: ＂ ＂,搜索src_ip字段等于的日志数据 搜索字段本身是否存在 _exists_:http 返回结果中需要有http字段 _ missing_:http 不能含有http字段 B、 通配符 ? 匹配单个字符 src_ip: 192.168.1. ？，搜索字段src_ip的值的范围在-的日志。 * 匹配0到多个字符 src_ip: 192.168.1.* ，搜索字段src_ip的值的范围在-54 ，即192.168.1网段 的所有ip。 注意 ：? * 不能用作第一个字符 ，例如 ：?text *text C、 模糊搜素 ~ 在一个单词后面加上~启用模糊搜索 first ~ 除了匹配到first ，也能匹配到 frist 还可以在~后面添加0到1的数值 ，指定需要多少相似度 ，指越大越接近搜索的原始值 ，默认是0.5 cromm~0.3 会匹配到 from 和 chrome D、 范围搜索 针对数值和时间类型的字段可以对某一范围进行查询 length:[100 TO 200] date:{now-6h TO now } [ ] 表示端点数值包含在范围内 ，{ } 表示端点数值不包含在范围内 E、 逻辑搜索 A ND （逻辑与 ）： src_ip ： A ND dest_ip:0 ，搜索src_ip等于.且dest_ip等于192. 168.1.10的日志数据。 OR （逻辑或 ） src_ip ： OR dest_ip:0 ，搜索src_ip等于.或者dest_ip等于192. 168.1.10的日志数据。 + ：搜索结果中必须包含此项 +src_ip: ＂ ＂搜索src_ip这个字段中值等于的日志 ，效果和没有 +效果相同。 - ：不能含有此项 - src_ip: ＂ ＂搜索src_ip这个字段中值不等于的日志数据。 F、 分组 添加多个过滤条件时