再谈网络故障诊断.docxVIP

zls整理合集 资料合集 再谈网络故障诊断 电子科技大学2015.11.24 zls整理合集 资料合集 zls整理合集 智能故障诊断：业内的工作 zls整理合集 宽带网络现状 服务日益丰富  如何提高对网络性能状况的感知度？ ,下载文如何了解终端用户的感受？(浏览网页件,音视频,……) ,下载文 如何验证向用户提供的SLA承诺？ 客户对上层应用服务质量要求提高  宽带网络服务质量 如何为重点客户提供定期的网络质量报告？ 如何进行长时间 (7×24)的性能监测以提前发现问题？ 不达标 如何精准快速进行质量劣化等故障的定位和根因分析？ WEB 一张网络  浏览器/PAD iTV CDN VoIP网关 智能故障诊断：三个目的 故障识别(fault identification) ,或故障发现 故障测试(testing) ,或故障确认 告警相关性分析(alarm correlation) ,或故障定位 iTV STB VoIP终端 智能故障诊断：两个研究点 故障传播 故障根因分析 常见的智能诊断故障诊断方法 小结：从故障诊断方法的角度,可以分为两类人。 “懂网络的人”的方法 基于规则的推理、基于模型的推理 小结：从故障诊断依据的信息,也可以分为两类人。 “懒人”所依据的信息 告警事件（目前ISP共识） “勤快人”所依据的信息 告警事件（“坏”消息） 网络日常运行数据（“好”消息） zls整理合集 以下汇报我们的两种探索。 探索1：“不懂网络的勤快人” 基于机器学习的故障检测与诊断(MLBR) zls整理合集 资料合集 zls整理合集 探索1：基于机器学习的故障诊断方法LMBR (Machine-Learning Based Reasoning) zls整理合集 MLBR的两个出发点： 宽带网络的运行数据测量已经解决了故障状态数据采集的问题, 剩下的就是对规律的学习和对知识的应用。 数据-学习-知识-应用 zls整理合集 机器学习框架 复杂系统  大数据平台 结构 状态 案例 数据 数据 数据  深度集成学习数据挖掘 机器学习数理统计人工智能 指标 (QoE/KQI/KPI) 阈值处理函数计算 指标处理模型 事件 (Event/Alarm) 压缩、计数、抑制、关联 事件处理模型 故障推理 故障推理模型 规则库、故障树、 故障传播图 测试和确认 故障假设选择 故障假设选择模型 人类专家 zls整理合集 资料合集 故障决策树 给定一个故障训练数据集D,其中每个实例, 称为例子,训练数据集中包含属性A。同时 ?故障决策树分裂准则 定义为在决策树算法中将训练故 给定类别集合C。对于训练数据集D,故障决 策树是指具有以下性质的树： 每个内部节点都被标记一个属性Ai。 每个弧都被标记一个值,这个值对应于相应父结点的属性。 每个叶节点都被标记一个故障分类Cj。 障数据集D中的元组划分为故障分类的最好的方法与策略, 它说明在节点N上测试哪个属性合适,如何选择测试与测 试的方法,从节点N上应该Th长出哪些分支。 故障故障决策树分裂准则随机选择ID3, C4.5和CART, 例如ID3用信息增益最大化准则来选定分裂属性：  针对一个网络故障FiTh成故障诊断随机森林的算法如下： I ( p, n) ? ? p p ? n log2 p ? p ? n n p ? n log2 n p ? n ① 准备带标签的网络状态数据集。 ② 从网络状态向量中,选取和故障Fi相 关联的事件,形成针对故障Fi的特定 如果以属性A作为决策树的根,A具有v个值 {v1, v2 ,L, vv},它将A分为v个子集{e1, e2 ,L, ev} ,假设中含有p个正例和n个反例,那么,以属性A为根所需的信息期望如下公式所示： 状态子向量。 ③ 启动N个决策树Th成任务（JOB） ④ 每个决策树Th成任务随机选取训练数 v v E( A) ? ? i?1 pi ? ni I ( p , n ) p ? n i i 据集,随机选取一个决策树Th成算法, 得到各自的决策树。 ⑤ 将N个决策树的结果进行汇总,形成 因此,以A为根的信息增益如下公式所示： gain( A) ? I ( p, n) ? E( A) 一个故障决策森林模型。 15 zls整理合集 资料合集 决策树与随机森林 ?建模 ① 事件量化、指标量化 ② 为诊断和定位分别选择和定义特征向量, 保证独立性,消除共线性 ③ 用大数据随机森林算法训练故障随机森林 ④ 每个故障随机森林和多个故障森林并行训练建模 多层次故障随机森林Th成 每个故障随机森林并行Th成,多个故障随机森林并行Th