从0搭建AIOps智能运维系统[001].docx

PAGE PAGE1 从 从0搭建AIOps智能运维系统 目录 1.概述：我们离AIOps理想王国还有多远 2.准备：以终为始，看准目标 3.启程：从0开始构建AIOps大舞台 3.1拥有数据 3.2采集数据 3.3存储数据 3.4报警系统 3.5CI/CD系统 3.6线上系统 4.爆发：智能决策，决胜千里 4.1模型算法 4.2报警聚合 4.3根因分析 4.4预测 1 1.概述：我们离AIOps理想王国还有多远 今天分享分四个模块，首先我们了解和一起探讨一下，大家都在提 AIOps，我们AIOps理想 王国到底离咱们现在还有多远，我们一起探讨一下。 我们探讨这个问题时候考虑梦想或者理想是什么 : 第一个，我们不背锅，我相信在座做运维的同学肯定有背锅的经历，如果我们实施 AIOps让大家不用再背锅了，这算是第一个理想。 第二个理想，不用再起夜（半夜被叫醒），这个事情经常会发生。我的团队，包括我自己，也 会由于线上问题半夜起来操作线上服务，我们希望有了 AIOps之后这是要实现的第二个理想； 第三个理想，我们不用去7×24小时值班，尤其618、国庆、双十一、双十二，各种节日非常多，这种情况下要值班，希望有了AIOps这套机制后，不需要再做排班、值班，完全机器自动执行人工要干的事情，这是我们践行AIOps的三大理想。 刚才知道我们理想，那怎么去实现呢？我们可以通过这样分析方法： 5W-1H 分析方法，这个理论在公司经营管理方面用得非常多，做任何事情要问 5个W，1个H。 第一个W，我们做什么。第二个，在哪个地方做。第三个，什么时候开始做。第四个，谁去做，大家问完这些问题心里已经有答案，谁去做，运维去做 AIOps。 我们怎么去做和为什么是我们做，而不是别人去做呢？接下来我们探讨这个问题。 5 PAGE PAGE10 这就回到了这个问题，我们理想到底怎么去实现呢？我觉得答案是这样的：coding，之前做运维的同学写脚本或者做机器运维，现在我们做AIOps或者DevOps，我们进入了开发领域，所以我们要不停写代码去实现自己的理想。 有了理想之后，我们又有了方法，到底还要多久才能实现理想呢，这里可以参考借助于康波周期理论。 这是一个俄罗斯非常出名经济学泰斗人物提出的周期概念，是指我们社会的经济发展存在周期性波动的特点。 比如说我们的经济通常会经历波谷到波峰过程，每次衰退到兴盛需要科技革命的推动，比如蒸 比如说我们的经济通常会经历波谷到波峰过程，每次衰退到兴盛需要科技革命的推动，比如蒸 汽机、铁路，还有一些电气工业，到 IT，再到我们现在AI，这是推动我们建立这样一个新周期 的技术支撑。 这个理论认为，一个周期大概要 50年，由此可见，对于AI，我们现在刚开始，所以我们正处 于这个时代最开始，大家投身 AIOps将非常有机会。 准备：以终为始，看准目标 刚才提到我们运维从开始不用写代码，到写脚本，到我们可以做SRE工作，再做开发DevOps，再做AI，我们运维角色发生着变化。从最开始的运维到运维工程师，再到开发工程师，再到大 数据工程师，最后都变成算法工程师，所以就是这样一个角色的变化过程，我们处于这个 AI 时代，我觉得非常好的。 刚才我们谈了理想，有了理想之后，我们设定实施目标，所以现在我们探讨一下怎么去实施目 标，要先了解一下我们行业的现状，具体的目标是什么，我们实施 AIOps三驾马车是什么。 我们看一下行业现状，第一梯队，看国内第一梯队， 我们看一下行业现状，第一梯队，看国内第一梯队， BAT大家都认可的。当然还有BATXJ，还 有ATM，还有XXX，还有很多企业，比如Facebook、Google等企业。 我们跟第一梯队比稍微困难一点，他们特点是人多、兵强马壮，钱多、体量大、起步早，别人 比我们聪明，起步还比我们早，我们达到他们这样阶段，比如刚才阿里和百度同学分享的技术， 我们达到他们境界可能还早着呢。对于第一梯队来讲，我们可能追赶他们稍微困难一点。 咱们看第二梯队，第二梯队我们认为市值100亿到500亿之间的企业，比如微博、搜狐、网易，这些企业更注重于业务，工程架构从零开始。 要跟他们同台竞技，咱们有《企业级 AIOps实施建议》，包括我们出的智能运维这本书，从这些材料里面和高效运维公众号里面学到很多东西，可以从零搭建自己的 AIOps系统。 区别就是这样，对于第一梯队来讲， BAT航空母舰，造各种轮船大炮，所有零部件自己去搞。 对于我们第二梯队来讲，我们做了什么事情呢？我们用了很多开源的东西，对于微博来讲用了非常多开源，比如 Redis集群我们是国内最大的，我们也用了其他很多的开源软件。 我们发现第一梯队和第二梯队区别之后，就可以设定我们自己目标，明确运维目标到底是什么，这个很重要。我们列了几点，一般大家觉得稳定性、