基于流量高峰预警机制云平台监控系统.docVIP

基于流量高峰预警机制云平台监控系统 　　摘 要 随着云计算的快速发展，全球服务器规模持续扩大，运维难度、成本不断提高。如何降低成本、确保服务的可靠性是所有云服务商所必须考虑的问题。监控系统对于提高云平台的稳定性、提高服务质量、降低云平台的运维成本发挥着非常关键的作用。因此，研究和实现云平台的监控系统具有非常重要的意义。本文在研究当前多种监控系统解决方案的基础上，设计了一种具有流量高峰预警机制的监控系统 【关键词】云计算 监控系统 稳定性 流量预警 1 引言 目前，云平台监控系统在国内外有很多的开源解决方案，比如：Zenoss、collected、Zabbix、Nagios等。但是，它们都存在不同方面的缺点，无法满足实际生产环境中多样化的需求。对于中小规模的企业来说，他们的业务规模相对较小、需求比较单一、业务扩展的也相缓慢，为了降低开发成本并且迅速地将监控系统投入使用，开源的系统监控解决方案是一个很好的选择。然而，对于很多企业来说，他们的需求变化较大、业务也比较复杂、集群扩展很快，这个时候开源产品就会显得很乏力。针对这些问题，本文设计了一种具有流量高峰预警机制的监控系统。监控系统从功能上来看，主要分为四个模块：数据采集模块、数据转发模块、数据存储模块、报警和预警模块 2 数据采集模块 数据采集模块是监控系统最基础的模块，它负责监控数据的采集，并且把采集到的数据推送给数据转发组件。在监控系统中，不同公司或者业务对于监控目标的需求存在一些差别，但是大部分监控目标是相同的，比如监控CPU和内存的使用率等。如果默认监控所有的监控目标（比如监听所有的端口，实际上大部分端口并没有开启）， 会造成系统资源浪费。如果默认不监控任何目标，则需要运维人员去做大量配置，浪费人力 为了解决上述问题，本文将监控数据采集目标进行分类，分为：基本监控数据采集目标和特殊监控数据采集目标。基本监控数据采集目标，本系统默认全部采集；特殊监控数据采集目标，则需要运维人员手动配置。这样既节约了系统资源又节省了人力 3 数据转发模块 数据采集模块和存储模块及报警模块之间，设计了一个数据转发模块。数据转发组件是没有状态的，它不会存储任何数据，而只是起到了一个中间转发的作用 监控数据由数据采集模块或者用户自定义脚本?l送过来后，首先会进行合法性检验，存储到相应的内存队列中，之后会转发给数据存储模块和报警模块 4 数据存储模块 监控数据的存储是监控系统中非常核心的模块，它对于系统的性能和整体的架构设计具有很大影响。本系统把监控数据存储在RRD（Round Robin Database）中，即节省了空间又提高了数据查询效率。监控系统中，对监控数据的存储方式，主要分为两类： 4.1 细粒度存储 保存数据采集端推送过来的所有数据点。优点是数据保存完整，缺点是存储代价和查询绘图代价过高 4.2 粗粒度存储 对历史数据进行压缩归档，节省存储空问，提高查询和绘图效率。RRD提供了粗粒度存储的完善解决方案。RRD，是一个环状数据库，适合存储时间序列数据 5 报警和预警模块 通常来说，在监控系统中有两个主要的关注点，一个是历史数据的存储和绘图；另一个则是定义报警策略，及时发现问题，并且进行报警。目前，大多数监控系统只是对己发生事件进行报警，并没有对潜在的威胁作出预测。本系统不仅能够基于历史数据对己发生的事件进行报警，而且能够对潜在的危险作出预测。基于时间序列预测技术，借助数据挖掘，本系统实现了对服务器流量的预警机制。通过流量预测模型，预测未来短时间内流量情况，如果超过了某个设定的流量阈值，则会发出预警，网络管理员可以提前采取措施，避免意外情况的发生，增强了系统的安全性和稳定性 报警模块的功能有： （1）从服务器获取报警策略 （2）接收数据转发组件转发过来的数据。但是，报警模块并不会存储所有的数据，而是只会存储每个监控项下的最新的10个数据点。之所以这样设计，主要是因为用户在定义报警策略的时候，通常来说只会检查最新的n个数据点，n的数值一般不会大于10。因此，为了节省资源和提高报警判断的性能，本系统只存储最新的10个数据点 （3）接收到数据后，能够高效率地判断是否达到了阈值产生报警事件 （4）当触发报警事件后，把这个报警事件写入队列中 因此，在报警模块中需要对历史数据进行存储（只需要存储最新的几个数据点）。本系统需要对数据存储进行选型，是应该把历史数据存储到外部机器上，还是应该把历史数据存储到本地的内存当中。如果把历史数据存储到报警服务器的本地内存中，那么就会导致报警服务器具有状态，当进行水平扩展时，存在一定的难度。如果把数据存储到外部服务器的内存中，则每次进行报警判断时都需要经过网