基于ELK的Packetbeat和watcher数据监控.ppt

kibana-Dashboard 一个 Kibana?dashboard?能让你自由排列一组已保存的可视化。然后你可以保存这个仪表板，用来分享或者重载。 简单的仪表板： 用户可以对仪表板做多样化操作： 1.添加可视化到仪表板 2.保存仪表板 3.加载已保存的仪表板 4.定义仪表板元素 5.移动容器 6.改变容器大小 7.删除容器 8.修改可视化 9.分享仪表板并嵌入到其他用户的仪表板中 ELK 套装 ?logstash agent 监控并过滤日志，将过滤后的日志内容发给redis(只处理队列不做存储)，logstash index将日志收集在一起交给全文搜索服务ElasticSearch ，通过Kibana 结合自定义搜索进行页面展示 提 纲 ELK基础知识 Packetbeat知识介绍 Watcher知识介绍 业内大数据分析系统调研 几种beats 在生产环境中，数据搜索需求会更复杂一些，通过logstash写正则，实在是个费时费劲的事。而beats就比较简单高效。 beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。 beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。 Filebeat：用来收集日志 Topbeat：用来收集系统基础设置数据，如cpu、内存、每个进程的统计信息 Winlogbeat：监控windows下面的日志信息 Packetbeat：是一个网络包分析工具，统计收集网络信息。 Packetbeat是网络协议抓包和处理的一个框架，用来嗅探和分析网络流量，关联他们到事物，并且使用?Elasticsearch?来分析，然后进行点对点查询。 Packetbeat介绍 Packetbeat的安装很简单，可参考官网https://www.elastic.co/downloads/beats/packetbeat 配置文件： /etc/packetbeat/packetbeat.yml 在ES中加载Packetbeat索引模板，执行命令curl -XPUT http://localhost:9200/_template/packetbeat -d@/etc/packetbeat/packetbeat.template.json 启动Packetbeat： sudo /etc/init.d/packetbeat start Packetbeat协议 目前支持了常见的一些协议：ICMP、DNS、HTTP、MySQL、PostgreSQL Redis、Thrift-RPC、MongoDB、Memcache，也可进行协议的扩展。 协议扩展开发可参考：https://www.elastic.co/guide/en/beats/packetbeat/current/new-protocol.html /article/54 在文件/etc/packetbeat/packetbeat.yml中可以注释某协议以禁用该协议，如果使用任何非标准的端口，也可进行添加。否则，为默认端口。 Packetbeat介绍 Packetbeat在kibana中的视图展示： 前面讲到的，基本属于转发平面的东西，比如mac转发表和mac地址学习。 mac转发表除了通过地址学习生成表项外，还可以通过配置来建立。 从这一页开始，介绍的东西基本属于控制面的功能，都需要进行一定的用户配置或者协议的支持。 交换机对广播报文的处理，是向除接收端口外的所有端口转发。 也不是每台二层交换机都支持，有些最简单的免配置的二层交换机， 只能作为最低层的接入，不能形成环路，买来直接使用，也不需要配置， 这样的交换机是不需要支持生成树协议或者vlan的。 * * ELK Packetbeat网络数据监控 提 纲 ELK基础知识 Packetbeat知识介绍 Watcher知识介绍 业内大数据分析系统调研 ElasticSearch特点 ElasticSearch 是一个基于Apache Lucene的开源数据搜索引擎，它的特点有： 实时：可以进行实时的数据搜索和分析 分布式：分布式文件存储，并将每个字段都编入索引 RESTful API：对外提供一系列基于JAVA和HTTP的API，用于索引、查询、修改大多数配置 JSON：输入输出格式为JSON，快捷方便 多租户：可根据不同用途分索引，同时操作多个索引 ElasticSearch使用案例 维基百科使用 Elasticsearch 来进行全文搜索并高亮显示关键词，以及提供search-as-you-type、did-you-me