运维 数据分析.pdfVIP

运维数据分析

今天，领先的数字原生企业不断用数字化手段颠覆传统行业，传统行

业内领先的企业也在积极拥抱数字化，国家也适时的将“数据”列为生产

要素参与分配，推动了以数据为关键要素的数字经济进入了新时代。站在

企业内运营后台的运维部门，运维属于数据密集型工作，团队的价值创造

都是在运维数字化工作空间中运作。

在运维数字化工作空间中，运维利用各种代理，将人与机器、软件系

统连接在一起，通过线上化的运维流程或规程将参与者的运维协同形成连

接，再基于“组织、流程、平台”能力组装连接成为运维场景，构成了运

维的数字化工作空间。今天，如果运维失去了对运维数据的控制，运维连

续性保障将失控，更谈不上提升IT服务质量、加快IT交付速度、辅助提

升客户体验的价值创造。运维数字化空间与滴滴的出行数字化空间类似，

滴滴用手机定位这个超级传感器，将乘客、司机、汽车三个参与者做了一

次连接，通过数字地图将出发点，目的地、路况、路线图与参与者又做了

一次连接，再通过实时的打车、坐车、评价、信用等运营模式做了连接，

形成一个出行的数字化空间。

虽然我们正在运维的数字化工作空间中协同运作，但我们需要正视的

是我们对运维数据的认识及应用还处于皮毛，虽有理念但缺乏必要的、可

执行的方法。随着运维数据平台的建设，将极有可能出现当前大数据领域

出现的数据孤岛、数据不可用、数据质量不高、融合应用难、有数据不会

用等诸多问题。上述问题，在当前运维领域资源投入不足显得尤其重要。

如何借鉴大数据领域数据治理的经验，反思运维数据平台建设应该关注的

问题，减少不必要的坑，做好运维数据治理，让运维数据更好用，用得更

好，完善运维数字化工作空间，是本文的目的。

4.5.3.1数据治理背景

从1997年“大数据”概念从NASA武器研究中心第一次提出，到

2001年gartner提出大数据模型，到2004年google推出的大数据技术

论文，到接下来大数据、人工智能、云计算等技术的广泛应用，再到今天

数字时代，企业已逐渐了解数据所蕴含的价值，对数据的重视程度越来越

高，投入大量资源进行大数据研发与应用。但我们必须承认，国内很多金

融企业在大数据技术应用前并不是很重视数据治理，出现像投入大量资源

建设大数据平台，但用的时候又发现报表不准、数据质量不高，导致项目

没有达到预期效果的普遍性问题。上述问题促进企业反思，发现在数据从

采集、存储、计算、使用过程中，少了数据管理的步骤，即数据治理缺失。

今天，数据治理已经被企业广泛认可为必要的基础性工作，以下整理一下

数据治理所要解决的痛点：

首先，信息孤岛，有数不能用。数据孤岛可能存在掌握数据的人主观

上不愿意共享，也有客观上担心数据共享存在敏感性问题，或数据与数据

关联性不够导致不能有效连接。

第二，数据质量不高，有数不好用。没有统一的数据标准导致数据难

以集成和统一，没有质量控制导致海量数据因质量过低而难以被利用，没

有能有效管理整个大数据平台的管理流程。

第三，数据不可知，有数不会用。不知道数据平台中有哪些数据，也

不知道这些数据和业务的关系是什么，不知道平台中有没有能解决自己所

面临业务问题的关键数据。

第四，数据服务不够，有数据不可取。用户即使知道自己业务所需要

的是哪些数据，也不能便捷自助地拿到数据，相反，获取数据需要很长的

开发过程，导致业务分析的需求难以被快速满足，而在数字时代，业务追

求的是针对某个业务问题的快速分析。

在运维领域，运维数据分布在大量的机器、软件、“监管控析”工具

软件上，除了上面大数据领域提到的信息孤岛、质量不高、数据不可知、

数据服务不够的痛点外，运维数据还有以下突出痛点：

资源投入不够：从组织定位看，运维属于企业后台中的后台部门，所

做的事甚至都很难让IT条线的产品、项目、开发明白“系统架构越来越复

杂、迭代频率越来越高、外部环境严峻等等需要持续性的运维投入”，更

不要说让IT条线以外部门理解你在做的事，在运维的资源投入通常是不够

的。所以，运维数据体系建设要强调投入产出比，在有限的资源投入下，

收获更多数据价值。

数据标准化比例低：运维数据主要包括监控、日志、性能、配置、流

程、应用运行数据。除了统一监控报警、配置、机器日志、ITIL里的几大

流程的数据格式是相关标准，其它数据存在格式众多、非结构化、