机器学习在大视频运维中应用.doc

机器学习在大视频运维中应用 　　摘要：通过对中兴通讯大视频运维系统整体架构和关键模块的介绍，以及机器学习技术在大视频运维系统中端到端异常检测、根因分析与故障预测等场景的具体应用的分析，并结合硬盘故障预测的实例，认为随着人工智能在运维领域的应用发展，从基于规则的自动化运维转向基于机器学习的智能运维必然成为趋势。中兴通讯适时采用了机器学习方法来提取历史巡检数据中蕴含的故障特征，并构建集成预测模型来提升大视频运维的精度和效率，目前取得了较好的效果。 　　关键词： 大视频；大数据；机器学习；人工智能 　　随着移动互联网和宽带网络的快速发展，视频业务以广泛的受众、高频次的使用、较高的付费意愿，已经具备成为“杀手应用”的潜质。越来越多的电信运营商将视频业务视为发展的新机遇，并作为与宽带、语音并列的基础业务。据Conviva用户视频报告的数据，35%的用户把视频观看体验作为选择视频服务的首要条件[1]。因此，运维保障成为视频业务的关键。 　　当前视频业务发展已进入“大内容”“大网络”“大数据”“大生态”的大视频时代。业务形态多样，包括交互式网络电视（IPTV）、基于互联网应用服务（OTT）的TV、移动视频等；组网复杂，视频在多屏之间的无缝衔接、码率格式适配等需求对网络提出了更高的要求；数据多样性大大增加，需要从视频码流、终端播放器、内容分发网络（CDN）、业务平台、网络设备等各个环节获取数据，既有结构化数据，又有半结构化、非结构化数据；?稻菔凳毙砸?求大大提高，传统网管采集数据的粒度是5 min，而大视频业务要求秒级的数据采集和分析，数据量和计算量增加了百倍。 　　这些都对传统的运维模式和技术方案带来很大的挑战。如何在大视频背景下客观评价和度量终端用户的体验质量，如何界定视频业务系统故障和网络故障，如何快速诊断网络中的故障并提前发现网络隐患，如何发掘视频业务运营和利润的增长点，成为各大运营商对大视频业务运维的关注重点。 　　1 大视频智能运维系统的架构及关键技术 　　在原有运维技术手段基础上，进一步依托大数据及人工智能技术，对大视频业务系统产生的各类信息进行汇聚、分析、统计、预测等，中兴通讯形成了智能化的大视频运维系统，其系统架构如图1所示。 　　大视频运维系统有以下几个部分组成： 　　（1）数据源。数据源主要指大视频业务智能运维所需要采集的数据，包括终端的播放记录、关键绩效指标（KPI）数据；接入网络的用户宽带信息、资源拓扑数据；CDN的错误日志、告警、链路状态、码流信息等；IPTV业务账户、频道/节目信息等。 　　（2）数据采集及预处理。数据采集层主要是Kafka、文件传输协议（FTP）、超文本传输协议（HTTP）等用于数据采集的组件；数据预处理是指对各种异构日志数据进行解析、转换、清洗、规约等操作，主要完成数据使用前的必要处理及数据质量保证。 　　（3）数据分析处理。数据分析处理主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎等。业务组件包括批处理、数据实时分析、机器学习等模块。批处理模块主要是对时效性要求不高的业务模块的处理及数据的离线分析，包含但不限于故障及异常的根源分析、故障及特定规则阈值的动态预测、事件的依赖分析及关联分析、异常及重要时序模式发现、多事件的自动分类等；数据实时处理主要是对于时效性要求较高的安全事件进行监测控制、异常检测与定位、可能引发严重故障的预警、对已知问题的实时智能决策等；机器学习模块包括离线的机器学习训练平台、算法框架和模型。 　　（4）业务应用层。业务应用层主要提供智能业务监测控制、端到端故障定界定位、用户体验感知、统计分析与报表等主要业务场景的分析及应用。 　　大视频运维系统涉及的关键技术包括： 　　（1）大数据技术。该技术可以构建基于大数据的处理平台，实现数据的采集、汇聚、建模、分析与呈现。 　　（2）探针技术。该技术可以实现全网探针部署，包括机顶盒探针、直播源探针、CDN探针、无线探针、固网视频探针等，通过探针技术实现全面的视频质量实时监测控制以及数据采集。 　　（3）视频质量分析指标。该指标以用户体验为依据建立视频质量评估体系，对视频清晰度、流畅度、卡顿等多项用户体验质量（QoE）指标进行分析。 　　（4）人工智能技术。机器学习本身有很多成熟的算法和系统，以及大量的优秀的开源工具。如果成功地将机器学习应用到运维之中，还需要3个方面的支持：数据、标注的数据和应用[2]。大视频系统本身具有海量的日志，包括从终端、网络、业务系统多方面的数据，在大数据系统中做优化存储；标注的数据是指日常运维工作会产生标注的数据，比如定位一次现网事件后，运维工程师会记录下过程，这个过程会反馈到系统之中，反过来提升运维水平；应用指运维工程师是智