数据库基于Slack Bot实时监控和预警平台.docVIP

数据库基于Slack Bot实时监控和预警平台 　　摘要：为了能够有效的监控和预警生产环境中数据库的运行状态，及时的解决因为数据库无法响应或者数据库硬件损坏导致的损失，基于数据库的实时预警系统尤为重要。传统的监控和预警平台通常采用的是自动化脚本+邮件和短信提醒的方式，虽然解决了预警的及时性问题，但是并不能支持可配置性和实时查询。因此有必要搭建一套实时的数据库监控和预警系统来保证线上数据库的正常运行。该文采用了最近逐渐开始流行的Slack作为消息推送平台，通过研究Slack实时消息API，并且与Jira，LDAP等企业管理工具的集成，实现了一套部署在生产环境数据库之上的基于Slack Bot的实时监控和预警系统。最后通过比较评估了实际效果。 　　关键词：预警； Slack； 实时监控； bot； 数据库 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）01-0003-03 　　1 引言 　　数据库是按照数据结构来组织，存储和管理数据的仓库。起源于上世纪60年代，随着计算机科学技术的发展，越来越多的数据由纸质的文档存储方式转为数据库存储。在环保节能的同时，也方便了数据的维护和检索[1]。数据库本身的发展也随着应用需求的增加而迅速的?l展。从Oracle，DB2，Access再到服务于大数据平台的Aster，MongoDB，Hbase。数据库也逐渐从单一节点发展成为多个节点集群的分布式环境。与此同时，随着数据库的飞速发展，在存储容量和存储效率大大提高的同时，数据库的稳定性和可用性是摆在企业面前的一大难题。虽然现在所有的数据库都有相当成熟的容灾机制，并且通过多备份，Master-Slave的机制来使得数据库在部分节点发生故障的同时能够正常的使用。即使如此，数据库在发生意外之后，仍然会导致部分数据丢失，或者应用相应缓慢的问题，造成使用数据库的应用服务器任务挤压，最终导致业务数据的丢失或者应用服务器的无法响应。所以如果能够在问题发生之前就能够预测到问题发生的可能性，防患于未然，并且及时的通知到正确的责任人，给责任人提供一个方便的交流问题的环境就尤为重要。 　　2 基于Slack Bot的数据库实时监控和预警平台 　　在介绍了数据库预警和监控系统的背景之后，本节将介绍数据库预警系统的目标和所要解决的问题，并基于研究目标，确定与研究可行的方案。 　　2.1 研究目标 　　对一个实时数据库系统而言，进行系统运行状态的监视是非常必要的，建立一套数据库实时自动的监控系统，不但能减轻值班员的工作压力，提高管理水平，同时也增强了系统的稳定性[2]。传统的数据库预警和监控系统，通常采用定时脚本来获取数据库系统当前状态，或者通过大数据平台的提供的预警接口来实现，并且与企业内的邮箱服务器和外部的短信服务器实施预警数据的推送[3]。采用邮件作为推送介质可以发挥邮件本身的诸多优点，可以将所有的责任人抄送在一起，通过邮件的方式来讨论问题的原因和解决方案。但是邮件的回复不同于传统的社交软件，通常会产生邮件回复顺序错乱以及交流不方便的问题，并且企业中员工每天都会受到上百封邮件，往往不在工作时间员工可能会忽略邮件，导致无法及时的通知到位的缺点。采用短信服务器的优点在于可以再没有网络的前提下接受到预警信息，弥补了邮件方式不能及时响应的问题。但是却丧失了交流平台的能力。所以说传统的数据库预警和监控系统并不具备交互能力和实时查询的能力，也不具备方便的交流平台。需要一个新的解决方案来实现一个既方便好用，又及时可靠的数据库预警和监控平台。所以新的预警平台需要符合以下几个目标。 　　（1）实现能够及时可靠的预警发送平台 　　预警的准确快速的发送是预警平台的首要任务，所以正确及时地将预警发送到需要接收的责任人当仁不让的成为新平台搭建的首要目标。 　　（2）提供责任人互相讨论的平台空间 　　提供手机/电脑端社交平台，对于每一个预警创建一个聊天房间，并且允许责任人添加更多的相关人员进入房间，在聊天平台中发表各自的意见和经验，并且将聊天记录保存，方便日后的查找。 　　（3）能够和企业内部的故障管理平台对接，实时记录问题状态 　　通常企业内部有着自己的故障管理平台，将故障管理平台和预警平台对接，实现预警推送的时候生成新的故障单，并且与之关联。并且可以再预警平台的聊天窗口中实现故障单的更新和关闭。此外，在预警发生的同时，将过去与之相似的故障单找出发送给相关责任人，使得责任人能够更快的定位问题和解决问题。 　　（4）提供可配置的预警服务能力 　　在制作预警平台的时候，如果解决过度预警的问题，也十分重要。就像狼来的故事一样，当一些简单预警过度频繁的推送，会导致真正需要关心的预警不能被及时解决，并且话费了大量的人力物力去修复那些