瀚思日志收集.pdfVIP

HanSight DataViewer 介绍 瀚思 HanSight DataViewer 是基于业界较成熟的分布式生态系统 Elasticsearch 开 发的企业级日志管理平台，且 完全免费 ，并提供搜索或大规模日志分析可视化等服 务。 DataViewer 包括日志采集、存储检索、可视化展现三个部分。 日志采集部分由瀚思自主研发，采用采集 / 转发机制，便于大规模集群部署，提供了 Web 界面进行数据源的配置及集群状态的监控。 在数据源的支持方面， 内置支持的 种类包括目录、 文件、 syslog 协议等， 同时 DataViewer 还提供了非常易用的 Java API ，方便用户对新的数据源进行支持。 存储检索部分采用 Elasticsearch ，我们对 Elasticsearch 进行了优化，并有源码级 的支持能力。 Elasticsearch 是一个灵活、功能强大的开源、分布式、实时搜索和分 析引擎。从设计之初就考虑了分布式环境，所以它具有天然的可靠性和可扩展性， Elasticsearch 使您能够轻松地的使用全文检索的功能。通过其强大的、健壮的 RESTful API 和查询 DSL ，支持多种客户端，如 Java、 Python 、Clojure 等。 可视化展现部分采用 Kibana ，我们在 Kibana 基础上增加了聚合功能，并进行了汉 化，使中国用户使用更方便。 Kibana 是 Elasticsearch 的数据可视化引擎，可以让 您在本地通过自定义的仪表盘同 Elasticsearch 所有的数据进行交互。 Kibana 的动 态仪表盘面板可保存、共享和导出，实时显示更改查询到的数据，还可以使用预先 设计的仪表盘在 Kibana 的用户界面上进行数据分析。 HanSight DataViewer 展现 HanSight DataViewer 系统架构 说明： 1.数据源支持目录、文件、 syslog tcp/udp 等; 2. 采集器把原始数据直接发送到 Kafka 消息队列 ; 3. 转发器从 Kafka 消息队列中获得数据并解析 ; 4. 采集器及转发器通过 ZooKeeper 进行配置及状态监控 ; 5. 转发器把解析后的数据存储到 ElasticSearch; 6. Kibana 自定义面板，从 ElasticSearch 中定时获得数据并通过图表的方式展现 ; HanSight DataViewer 系统要求 1. 硬件配置 硬件 最低配置 推荐配置 CPU 单路四核 双路四核 内存 32GB 96GB 硬盘 1T 6T 网卡 单网卡， 1000Mbps 双网卡， 1000Mbps 2. 软件需求 软件 版本 软件 版本 操作系统 Redhat/CentOS 6.x 64bits Oracle JDK Oracle JDK 7 Update55 64bits