基于大数据机器学习技术IT运营分析系统建设.docVIP

基于大数据机器学习技术IT运营分析系统建设 　　摘 要： 数字化时代，数据分析是原动力，数据中心每日产生的海量监控数据、日志，散落于各运维管理工具、服务器中。本项目旨在借助大数据、机器学习和分布式计算等技术建立IT运营分析系统（简称ITOA），实现PB级运维大数据的准实时处理和探索平台；创新动态基线算法发现历史规律、预测未?砬魇疲?在故障诊断、告警决策和性能评估方面智能辅助运维管理，大大提升监控预警能力、故障处置速度和运维服务质量。 　　关键词： 大数据； 机器学习； ITOA； 动态基线 　　中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2018）03-85-04 　　Construction of ITOA system based on big data environment and machine learning 　　Chen Jun 　　（Shanghai Pudong Development Bank， Shanghai 200233， China） 　　Abstract： In the digital age， data analysis is the driving force. The data center generates a large amount of monitoring data and logs on a daily basis， which are scattered in the operational management tools and servers. This project is designed to establish the IT analysis system （ITOA） by means of big data， machine learning， distributed computing and other emerging technologies， to realize the real-time processing and data exploration platform of the PB level data； the innovative dynamic baseline algorithm discovers the historical law and predicts the trend of the future， and is intelligent assistance operation and management in the aspects of fault diagnosis， alarm decision and performance evaluation， which greatly improves the monitoring and warning capability， the speed of troubleshooting， and the quality of the maintenance service. 　　Key words： big data； machine learning； ITOA； dynamic baseline 　　0 引言 　　近年来大数据分析和机器学习的概念越来越热门，与之相关的技术和应用也呈现蓬勃发展的态势，各行各业都将眼光投向了这一领域，期望利用大数据分析和机器学习的手段来提升自身的企业核心竞争力。 　　作为数据大集中地――数据中心，运维了成千上万的设备，每天产生着TB级乃至更大规模的数据，本项目旨在利用开源大数据技术，探索机器学习算法，通过对数据中心运行的各个系统的性能容量监测数据、日志数据进行实时采集加工、分布式计算、贴合应用场景的建模和调参，改进传统性能数据、日志分析做法，解决传统运维过程中一直存在难点或痛点问题。 　　1 平台体系架构 　　IT运营关键在于对运维数据的分析，业界还没有成熟的产品或解决方案，本项目的架构设计，参考了业务大数据及部分大数据日志分析平台的做法，引入当前主流的大数据组件，搭建起支持离线批量和实时两种处理模式平台，一方面支持运维管理中的实时监控、另一方面支持离线批量计算实现特征提取。 　　系统物理架构如图1系统物理架构图所示。 　　服务器方面，由38台X86服务器组成，20台数据节点和2台管理节点组成CDH hadoop大数据集群，8台服务器组成ES集群，其中包括两台管理节点合并部署，这些服务器每台上配备大容量磁盘。4台服务器用于运行内存数据库、部署应用程序和报表服务。2台web集群用于负载均衡和前端页面展示。2台数据库集群保存少量结果数据以及CDH组件的元数据等。 　　网络方面