splunk产品分析.doc

Splunk产品分析 产品定位 Splunk产品营销副总裁Sanjay Mehta说道。Splunk是集成的端到端解决方案。它在一个地方收集和整理机器数据。Splunk可以实现实时搜索、浏览、导航、关联、分析和可视化数据。在商用硬件上的规模得到证明。不到5分钟，Splunk就可以下载到一台服务器上并运行。同一软件可以在最大型的全局基础设施中扩展，每天为数十TB的数据编制索引。 对于一些用户而言，Splunk可能显得有些陌生，谈到Splunk的业务以及产品定位，Sanjay将Splunk的软件比作分析大数据的引擎，他表示：“Splunk公司主要处理大数据，对这些大数据进行分析，给我们的客户、组织带来价值，而且，我们能保证以低成本的进行实时地分析，允许用户使用我们的技术对数据进行收集、监控、分析，而且进行可视化。目前，Splunk公司的产品和技术已经应用到各行各业，其中包括保险、政府、媒体领域。” Splunk高级销售工程师崔玥表示，Splunk是机器数据的引擎，它能够解决全部机器数据挑战，能够收集非结构化的时间序列机器数据并编制索引加以利用。Splunk几乎能够读取来自可以想到的任何来源的数据，如网络流量、Web服务器、自定义应用程序、应用程序服务器、虚拟机管理程序、GPS系统、股市源、社交媒体和预先存在的结构化数据库。它允许实时了解正在发生什么情况，深入分析在 IT系统和基础设施中发生了什么情况。 操作系统要求 硬件要求 实际硬件需求跟安装的组件、索引数量、查询频率有关，详细请参考《Splunk-5.0.4-Installation.pdf》Estimate hardware requirements一章 产品形态 产品架构 Splunk进程 Splunkd进程 Splunkd在windows下已经注册为服务，是一个分布式C/C++服务器，用于索引IT流数据，并处理搜索请求。Splunkd在索引IT数据时通过派生一系列的pipeline来实现，一个 一个pipeline是splunkd进程中的一个独立线程在splunkd的进程中对应唯一的XML片断。 Splunkweb进程 Splunkweb进程通过CherryPy提供轻量级web访问。（CherryPy是用Python来写的，面向对象的HTTP框架，它允许开发者建立WEB程序，犹如一般的Python程序，用面向对象的方法来完成。可以得到的是：少代码，少时间完成工作。）用户可以通过splunkweb进程搜索和浏览存储在splunk服务器上的数据，并允许用户通过web接口管理splunk部署 在Windows操作系统下，splunkweb进程是第三方提供的可执行文件，由pythonservice.exe重命名得来。 Splunk进程 在Windows操作系统下，Splunk进程是一个应用控制程序，它通过提供命令行接口来启动、停止、和配置splunk服务器，类似于*nix splunk程序 splunk-admon进程 splunk-admon进程在用户配置AD输入监控时由splunkd进程加载，splunk-admon的作用是发现最近的可用AD域控制器，并收集AD事件，splunk同样会索引AD事件。 splunk-perfmon进程 splunk-perfmon进程在splunk4.2以上版本才有，当用户配置监控本地服务器性能时，会加载该进程，该进程会加载性能数据应用动态库来采集实时和历史的本地系统性能数据。 splunk-regmon进程 当用户配置监控windows注册表时，会加载splunk-regmon进程。Splunk会搜集当前的注册表的情况，并监控注册表的变化，并把注册表的变化作为splunk事件被搜索。 splunk-winevtlog进程 splunk-winevtlog进程可用来监控已经定义的windows事件，并生成可供搜索的splunk事件。 splunk-wmi进程 当用户配置从远程计算机上采集windows日志、性能数据时，该进程就会启动。该进程通过WMI接口搜集远程计算机信息 Windows Management Instrumentation是用于提供共同的界面和对象模式以便访问有关操作系统、设备、应用程序和服务的管理信息。如果此服务被终止，多数基于Windows的软件将无法正常运行。如果此服务被禁用，任何依赖它的服务将无法启动。 Splunk部署方式 Splunk可以单机部署，也可以分布式部署。分布式部署时，由多个转发器(forwarder)把数据转发到splunk服务器。 Splunk转发和接收 用户可以把数据从一个splunk实例转发到另一个splunk服务器甚至是非splunk系统。执行转发的splunk实例叫做转发器(