AIOPS的实践和探索.pptx

AIOPS的实践和探索目录一、背景介绍二、AIOPS的思考三、AIOPS的实践方案四、经验和总结运维体系介绍网络安全服务互联网服务SRE安全大脑AddOps技术支撑技术支撑Hulk云平台addopsDBANet AccessOpenstackCephopsdevcontainerInfrastructureAIOpsOpsOdin基础平台SiteOpsNetOpsSANoc核心技术支撑基本情况概览技术沉淀产品沉淀资源沉淀服务沉淀业务沉淀资源沉淀100+专利10+开源贡献物理/虚拟主机K8s+容器服务自有BGP网络20+城市服务节点大数据服务人工智能服务搜索视频日请求150亿软件仓库100+IDC云视频服务信息流日访问量8499亿关系型数据库10+数据中心云存储服务智能硬件DB访问6000亿KV数据库10万+服务器安全服务个人安全2EB安全大数据S3存储骨干带宽4T推送/IM服务浏览器可信云认证Hadoop生态核心节点双环路IoT服务金融等保三级大数据应用1000+业务线运维现状软硬件环境监控平台故障定位运维人员硬件和软件 数量的爆炸 式增长新的架构层 出不穷监控数据没 有发挥价值传统阈值报 警的弊端故障种类、 原因的复杂 性需要花费很 长时间定位同时要处理 多个故障7*24小时的 职守发展历程2018年以后智能闭环，极 大解放生产力2018年智能化单点应用部 分串联能力2016年-2017年数据化可视化2012年-2016年精细化平台化2012年以前标准化工具化目录一、背景介绍二、AIOPS的思考三、AIOPS的实践方案四、经验和总结场景的选择成本容量规划 性能优化 预算评判退还推荐 资源调度智能变更 容量预测 报警收敛 智能问答根因分析 异常检测 瓶颈分析 辅助决策 故障自愈效率场景的选择-成本天下武功，唯富不破；马氏太极，以钱克刚。服务器加速流转（2000万）资源回收预算系统AI助手智能调度，提升利用率（50%+）DB智能调度分时计算场景的选择-效率天下武功，无坚不破，唯快不破。异常检测（基线）根因分析关联分析根因分析故障自愈故障预测磁盘自动清理磁盘故障预测CPU报警处理团队构成懂业务，有数据，看病有产品理念的运维提需求，要目标。懂业务，玩数据，出方有大数据背景的运维开发会编程，重交付。懂算法，能建模，制药有算法和工程化经验的开发会编程，保质量。目录一、背景介绍二、AIOPS的思考三、AIOPS的实践方案四、经验和总结数据积累IDC数据网络数据主机硬件操作系统VIP流量进程数据访问日志业务打点业务日志数据库指标数据库日志中间件指标容量预估目标 不同准确率、不同时间开销、不同预测时间的时间序列预测算法。基于周期性检测的时间序列预测算法(PAPC)容量预估目标 不同准确率、不同时间开销、不同预测时间的时间序列预测算法。周期性检测容量预估不同准确率、不同时间开销、不同预测时间的时间序列预测算法。目标预测结果预测模型LR、ARIMA、bp神经网络、LSTM周期性序列PAPC+LR普通+LSTM准确率（PCT）0.0440.044时间开销2.63s23.8s指标准确率非周期性序列PAPC的准确率、时间开销跟普通的一样。时间开销分类尽可能高的准确率、不同分类任务的分类算法。目标分类模块模型选择；调参；组合；样本问题负样本特别少，样本库正负样本数量悬 殊；标注成本高；解决方法：理想情况：用户（运维人员）标注；一般情况：过滤规则+用户（运维人员）标注；规则+自动生成样本；随机采样；无监督学习；资源回收目标 解决线上机器利用率低的问题，提高资源利用率。核心模块：机器画像（预测）；机器分类；效果：准确率：90%以上；回收1500台机器，约1.6千万；MySQL智能调度系统数千个数据库的实例，由于历史因素，线上资源存在浪费的现象背景实例基本信息采集cpu、内存使用率、磁盘占有率；io读写、实例网卡流量；标签类别低消耗端口、计算型端口、存储型 端口、综合型（计算型和存储型） 端口；Label编码实例个数低消耗[1,0,0,0]206计算型[0,1,0,0]273存储型[0,0,1,0]270综合型[0,0,0,1]140MySQL智能调度系统核心模块：实例和机器画像（预测和定量分析）；决策树分类；调度算法：尽量保证迁移次数少尽量少的避免切主保证主库和大容量端口的稳定性控制每台机器上主库的个数（不超过5个）和实例总个数同一端口的实例不能出现在同一机器上不调度黑名单机器等等效果：某机房30台高负载机器中的14台变为可用。效率效率方面提高运维效率；自动化→智能运维；流程：发现问题→分析问题→解决问题；kpi聚类目标 多维时间序列实现聚类。方法：归一化；尝试不同聚类方法；异常检测目标 准确率高、召回率高和误报率低的检测算法。传统检测方法恒定阈值?????