构建立体化的应用监控体系.docx

构建立体化的应用监控体系DBAplus社群微信号 dbaplus功能介绍 围绕数据库、大数据、PaaS云，顶级大咖、技术干货，运营几个月受众过十万！成为运维圈最专注围绕“数据”的学习交流和专业社群！欢迎投稿，加入探讨。主题简介：网站应用的总体架构构建立体化的监控体系为了更好地理解监控的维度，本文会先从一个通用的网站架构开始说起，然后讲一讲大型互联网应用是怎么在横向和纵向两个维度覆盖各种类型监控的。一、网站架构1、业务集群对于大多数的技术人员来说，最熟悉的就是业务集群，我们在业务集群上实现业务逻辑，由Nginx将流量分发到这些业务集群上。上图所示的就是相关的架构，这部分大家都比较熟悉，我们就不展开了。下面详细说一下大型网站在机房外部和机房内部的流量接入端的架构。2、机房外部用户的访问一个页面，从浏览器的地址栏输入网址，按下回车键，到页面加载出来，经过哪些步骤呢。拿一个典型页面举例，通过浏览器中的开发者工具，我们可以看到加载和渲染这个页面需要加载很多页面资源，不但加载了很多文档类型的资源，例如HTML；也加载了很多静态资源，例如CSS、JS和图片文件。我们将前一种划分为动态内容，将后一种划分为静态资源。如果我们在全国只有一个机房，那么全国各地的用户都需要跨越多个区域、多个运营商的网络才能访问到网站，如下图所示，这样访问速度一定不是很快。怎么解决这个问题呢，最简单的方法就是让用户就近访问页面资源。在全国各区域、各运营商用户数量比较多的网络内建立节点，让用户就近访问。如下图所示，不同颜色的圆圈代表不同的运营商，节点覆盖了页面数量大的区域。页面上加载的绝大多数资源都是静态资源，通过这种方式可以非常显著地提升页面的加载速度。这种技术就是CDN技术（Content Delivery Network，即内容分发网络）。对于动态请求的优化思路也是类似。前面提到的是只有一个机房提供动态请求响应的情况，南方用户的动态请求响应速度是较慢的。如下图所示，如果在华东、华南等区域部署机房，可以更好地对华东、华南的用户进行覆盖，提升动态内容的访问速度。那CDN是如何实现静态资源的就近访问的呢？使用的就是DNS调度的方法。我们都知道通过HTTP协议发起请求的几个步骤：域名解析、建立连接、发送请求、接收响应。如下图所示，用户在向域名解析服务器发起域名解析请求的时候，DNS服务器返回了离该用户最近的CDN节点的IP，从而实现了用户的就近访问。３、机房内部在经过域名解析阶段后，动态的请求会直接访问机房（也可以做动态内容的加速），静态资源在无缓存时也会回源（去机房获取资源文件），这两种情况都会访问机房的VIP。分别经过四层负载均衡和七层负载均衡集群后，流量被分发到业务集群。业务集群之间也会存在互相调用的情况。对每一个关键集群来说都存在主备，主集群出现问题则切换到备集群；也可以主备集群同时提供服务，每个集群都预留承担全部流量的资源。每个集群内部都包含多台服务器，少量服务器出现异常不影响集群提供服务。机房网络出口提供备份链路，主链路出现问题可以自动切换到备链路。当遇到极端情况，两条链路都中断的情况，可以切换域名的解析结果和CDN的回源IP到备份机房的VIP，然后通过机房之间的专线将流量导入。如果有多个机房，那么直接将流量切到其它正常的机房即可。如下图所示：二、构建立体化的监控体系1、监控的定位和目标线上服务的守护神，服务稳定性的重要保障运维和研发、测试人员的眼睛，快速发现和排查故障将运维数据进行量化和可视化，便于对网站优化2、监控系统架构监控系统的底层模块基于Open-Falcon，上层做了很多深度的二次开发，整体系统架构图如下：3、监控的应用规模最后讲一下监控体系在58集团的应用规模：覆盖了近万台服务器包括58集团下属的各网站：58同城、赶集网、中华英才网、安居客、转转。监控的业务指标监控系统中配置了：超过3000个集群、近3000个监控模板、近300万个监控指标、每天实时处理的数据量超过2T。4、立体化监控体系概述参考网站的架构图，立体化的监控体系包括纵向和横向两个方向。纵向实现了自底向上各层级的监控，包括网络、服务器、系统层、应用层、业务层，如下图所示：横向实现了从外到内各层级的监控，包括用户端、机房网络出口端、流量接入端、业务端等，如下图所示：5、纵向各层级的监控指标（1）网络监控最基本的网络监控包括：机房出口VIP是否存活，流量是否正常，机房间专线流量和质量是否正常，以及网络设备及流量是否正常等。机房出口VIP是否存活从机房外对VIP进行ping，如果连续多次发现VIP不通则发出告警。流量是否正常在四层网络设备上监测出入流量和包量等关键指标。机房之间专线流量和质量在机房之间的网络设备上监控专线的流量和质量，例如：带宽使用量，丢包率、ping延时等。（2）服务器监