大数据驱动IT运营分析.docxVIP

PAGE 1 PAGE 1 大数据驱动IT运营分析  ITOA(IT运营分析，ITOperationsAnalytics)就是利用大数据和数据挖掘技术，针对IT系统运行过程中产生的海量机器数据进行存储、计算、分析、呈现，并将分析结果转化为可付诸实施的解决方案。  一、传统日志处理技术逆境  图1传统日志处理技术逆境  如上图所示，面对海量机器数据，传统的日志处理技术存在较多问题的，可以归纳为以下几点：  1)数据孤岛。在传统日志处理系统中，各设备/系统的日志数据是孤立、分散存储在不同系统中的，不同系统的日志数据无法进行关联和发觉共性。在定位分析问题时，系统管理员往往需要多次登陆不同系统，使用简易的脚本命令或程序查看日志数据，操作繁琐，并且简单出错。如何解决机器数据统一存储和管理问题？  2)海量存储。传统日志处理系统采用关系型数据库，无法适应TB/PB级机器数据存储和快速访问性能要求，也不适合处理以非结构化类型为主的机器数据。如何解决海量非结构化机器数据低成本存储和持续可扩展性问题？  3)全文检索。传统日志处理系统无法实现从非结构化的机器数据全文中快速查找相关匹配信息。如何实现问题快速查找、定位和回溯？  4)价值发掘。传统日志处理系统在数据存储、快速计算、全文检索等方面存在诸多限制，同时也限制了对机器数据的新价值挖掘。如何快速实现对来源不同的机器数据进行关联分析和机器学习，发掘新的数据价值，如：总体态势、趋势分析、异常预估等，并通过可视化图表和仪表盘进行直观呈现？  当前，大数据技术可以很好地解决传统日志系统存在的诸多问题。  二、大数据技术用于ITOA  图2大数据应用于ITOA  如图2所示，IT系统中的存储、服务器、数据库、中间件、操作系统、网络、安全、虚拟机、应用等全部部件的机器数据，如：日志、配置、事件、告警等，都可以统一采集和存储到一个大数据平台，进行统一管理、检索和分析。大数据技术采用分布式存储，基于X86服务器集群及横向扩展能力，可以供应海量的、低成本的存储能力，为统一数据管理，打破数据孤岛供应基本的技术能力；同时，通过Hadoop并行处理框架对海量数据进行快速数据计算，通过ElasticSearch对非结构化数据供应一个分布式全文检索引擎，可支持快速全文检索、数据关联分析、机器学习挖掘等价值变现能力。  三、新华三IT大数据  图3IT大数据技术架构  IT大数据是一款针对数据中心推出的大数据应用系统，基于分布式处理架构，通过对日志数据、传感数据、安全事件、KPI指标、网络数据等机器数据进行统一采集、解析、存储和管理，供应全文检索、机器学习、关联分析、可视化图表、监控告警等功能，帮助用户获得海量机器数据有价值的信息。IT大数据由大数据平台、数据采集、应用适配、IT大数据应用和运维管理等五个部分组成。  1.大数据平台  大数据平台基于分布式计算框架Hadoop/Spark和分布式检索引擎ElasticSearch混合架构。  ElasticSearch是当前流行的企业级全文检索引擎，其特点包括：支持JOSN进行数据索引、支持RESTful检索引擎接口、基于Lucene全文检索引擎等。ElasticSearch供应分布式检索引擎架构，基于X86服务器及本地硬盘，可以横向扩展集群节点到上千台，存储和处理PE/EB索引数据。ElasticSearch支持索引数据分块和多副本机制，副本分布存储在集群的不同节点，可供应分布式处理能力，并支持索引数据的冗余备份机制。  IT大数据对Hadoop/Spark和ElasticSearch进行深度混合应用，ElasticSearch作为数据源，Hadoop/Spark作为执行引擎，通过实现Hadoop和ElasticSearch之间的输入/输出，可以在Hadoop/Spark里面对ElasticSearch集群的数据进行读取和写入，充分发挥Hadoop/Spark并行处理的优势，为Hadoop/Spark数据带来实时全文搜寻能力。  2.数据采集  针对数据中心机器数据来源的多样性，IT大数据实现了多种数据采集方式，对网络、安全、服务器、存储等日志数据，通过配置和监听UDP端口采集；对主机性能、应用性能、数据库日志等数据，通过在客户端安装探针进行采集。  机器数据是基于时间序列生成的非结构化数据，无标准格式，不同厂家的设备/系统格式都不一样，IT大数据支持自定义解析规则，可以兼容任意厂家的机器数据格式。  利用Kafaka+Storm/Stream组件对数据进行接收、解析和加载等