数据驱动的新一代IT运维平台架构设计.pdf

数据驱动的新一代IT运维平台架构设计 北京睿至大数据有限公司 陈科 双态环境下海量数据的挑战 v运维的本质在处理数据 v传统稳态环境异构多元 ，数据分散但架构相对稳定 v敏态环境下业务架构的动态属性 ，使得运维难以覆 盖监测 v事后回溯难以还原故障现场 ，因此全量数据分析手 段显得尤为重要 v海量数据的组织管理 ，影响运维的效率 v大数据平台的灵活、包容特性可以应对挑战 问题追溯的挑战 v早上九点钟用户上班 ，故障发生在凌晨2点 ，怎么办 ？ 大数据平台不再是锦上添花 v右图被广泛用于判定大数据平台成熟度 v客户需求在挖掘数据价值 ，而不仅仅是数据 仓库 v大数据平台演进阶段 § 叙述 – 发生了什么 ？ § 诊断 – 为什么发生 ？ § 预测 – 什么会发生 ？ § 规范/方法 – 知道如何产生 ？ v难度递增 ，价值也递增 v后知后觉 - 洞察 - 预见 Source: Gartner 新一代数据分析 – 智能化 v分析结果直接到决定/动作 v人工输入越来越少 v人工运维转向自动运维 v以平台为基础 ，数据为驱动 ，衔接自动化工 具 ，用替代的人力反映价值 Source: Gartner 大数据平台投入的原动力 v提升决策质量 ，加速决策 v改进计划和规划 v开发新产品/服务/营收 v开发新客户 v满足合规要求 v改进内部沟通 v加强现有业务合作 v降低运营成本、资本支出 v促进业务并购和收购 Source: IDG Enterprise Big Data Study 大数据平台的价值体现 – 应用场景 v主流应用场景还是分布于用户分析和运营分析 （近70% ） v用户分析场景 ： § 用户体验分析 § 用户行为分析 § 用户安全分析 v运营分析场景 ： § 基于全量数据的指标分析 § 发现未知问题 ，探查故障原因 § 应用性能瓶颈分析 § 业务支撑能力分析 § 合规审计 智能化运维框架 v从裸设备到业务应用全栈的纳管和驱 动能力 v对资源的全面管控 ，从启用到退休 ， 自动化监控 v用量、配置、事件、性能、日志智能 采集 v业务需求驱动运维操作 ，部署/变更 自动化 异构云平台和多云管理平台 v混合云、多云管理能力 • Power、OpenStack、VMware • 容器 • 裸机 v传统应用和云化应用的全生命周期管理 • 传统应用和云化应用在多云环境中的部署规划 • 应用开发与管理 • 应用自动化发布 • 应用自助化监控和管理 • 应用自动伸缩 • 结合智能化运维平台的应用分析 v资源的生命周期管理 • 资源的智能分层分级 ，结合业务的最佳分配方式 智能化运维 v一体化监控 ，全面的数据采集能力 v对既有运维平台的接纳能力 ，对第三方系统 的兼容性 v对资源数据、配置关系、性能表现、运行 日 志的全面管控 v业务导向可定制化的数据组织和展现 v海量数据的并行处理和计算 v动态基线取代单一的阈值策略 ，关注变化取 代关注具体的值 v所有数据时序化 ，可随时回溯 v基于应用场景的数据分析 智能化运维 回到两点钟的视图 ： • 当时业务的服务状态 • 当时业务系统各个组件所在硬件资源的状态 组件 日志 •