统一运维大数据管理分析系统建设方案.docxVIP

PAGE 1 统一运维大数据管理分析系统 建设方案 XXX科技有限公司 20XX年XX月XX日 目 录 TOC \h \z \u \t 标题 1,1,标题 2,2,标题 3,3 一 统一运维大数据基础系统 2 二 统一运维数据分类管理 2 2.1 多数据平台数据采集 2 2.2 异构数据采集 3 2.3 数据字段提取与管理 3 三 运维大数据检索与展现 3 3.1 海量数据检索 3 3.2 便捷直观的数据展示 4 四 海量日志文件分析 4 4.1 应用日志收集 4 4.2 预警策略设置 5 4.3 日志告警查询 5 4.4 日志记录查询 5 4.5 日志数据分析 5 五 指标动态基线预测 6 5.1 基线规则设置 6 5.2 指标基线预测 6 5.3 指标基线预警 6 六 运维支撑能力评估 7 6.1 运维指数评估 7 6.2 运维指数挖掘 7 统一运维大数据基础系统 OneCenter统一运维大数据管理分析系统是一套可跨平台整合和分析客户多种业务运维数据的通用性平台。平台内部整合了Hadoop、Speak、Kafka、MongoDB、Solr、Flume等多种大数据架构技术，同时提供多种类型数据接口的采集方式，实现多平台、多业务的监控、流程等运维工具的数据整理和统一管理。统一运维大数据平台提供构建运维指数评估分析模型，根据历史数据变化规律，挖掘业务、指标、故障等关联信息，为用户真正建立一套完整的运维数据分析和数据挖掘展现平台。通过统一运维大数据平台的，用户可以轻松管理全网各业务资源状态、告警及运维和资产，并根据数据分析模型了解运维工作整体情况和资源运行使用情况，为用户运维工作改进和IT业务发展提供依据。 统一运维数据分类管理 统一运维大数据管理分析系统提供强大多种数据管理功能，可以对元数据所属来源、数据类型等通用标签进行统一管理和数据处理。同时支持对于数据进行自定义扩展维护。 多数据平台数据采集 统一运维大数据管理分析系统提供多种数据接入方式，除传统的数据接口方式接入外，还提供文件批量导入、网络端口同步、数据库脚本抓取、Kafka通道监听等多种便捷的接入方式。相关数据可用来录入告警数据、性能数据、日志数据、工单数据等不规则格式的动态数据，以实现运维数据的海量存储和集中化检索分析。 数据库脚本抓取方式所支持的数据库类型，可通过用户根据需要界面上传驱动插件包进行自定义扩展。 异构数据采集 统一运维大数据管理分析系统可通过上传插件包方式，单独针对不同的异构数据进行统一的格式化封装和数据流规则解析，可灵活支撑各种运维过程中产生的数据格式的扩展。 数据字段提取与管理 统一运维大数据管理分析系统可将各种常用数据和其他格式数据字段统一录入和保存，数据字段可作为检索条件和统计字段进行使用和调用。 同时可支持按数据来源和类型进行字段值的字典表翻译，将数据翻译成用户可识别和统计的描述信息。 运维大数据检索与展现 海量数据检索 统一运维大数据管理分析系统提供了一套灵活的数据搜索命令语法，可快速从所有海量数据中模糊检索出所需要的元数据信息，从而免去了用户跨平台跟踪查询的烦恼，可高度还原每个时刻上运维过程产生的所有运行和操作信息。 可支持海量数据命令式，上亿数据全文模糊秒级检索，也支持用户可收藏常用搜索条件，也可分享他人使用，同时支持在检索结果上灵活的二次检索方式，例如：基于时间、结果、字段等多次深度钻取。 便捷直观的数据展示 统一运维大数据管理分析系统提供了便捷的直观的仪表盘设计器，用户可根据任意检索条件按字段进行计数统计，并以配置方式构建可视化面板进行实时查看，也支持通过任务方式定时生成仪表盘报告进行历史查看。 表格、柱图、饼图、线图等多种仪表盘在线构建。 Dashboard面板式的视图可视化自定义。 可按日、按周、按月定时生成仪表盘数据。 海量日志文件分析 统一运维大数据管理分析系统提供了一套分布式和高可靠的海量日志聚合器，可对Linux/Windows操作系统,以及其上部署的Oracle、WebSphere等应用软件类的日志文件内容进行跨平台分布式收集、集中分析预警与综合审计检索等功能，以便让运维人员实现对海量应用运行日志的“事前”管理、“事中”监控和“事后”分析。 应用日志收集 统一运维大数据管理分析系统提供了一套可部署在被管应用服务器上的日志采集Agent代理器，可以将分散在各个应用程序或操作系统中的文本类日志进行采集，极大的提升日志排查的效率。每个Agent可支持秒级同时监听多个日志文本文件内容变化，通过分布式Kafka缓存技术，来实现海量日志数据的实时增量收集。可对每个Agent设置一个专有的日