互联网业务质量指标体系及测试评估系统.docVIP

互联网业务质量指标体系及测试评估系统 一、项目背景 互联网作为全业务发展的重要基础，业务质量直接影响3G、WLAN和有线宽带业务的发展。然而当前网络指标无法反映业务质量、用户业务感知无法量化评估、优化工作只能围绕网络指标分段分层开展的问题，凸显出互联网业务质量指标不完善、监控手段的匮乏。 实际业务质量网络性能指标 实际业务质量 网络性能指标 网络指标与用户感知不对应：尽管网内时延、抖动等各项指标优秀，但是用户实际上网感知网速慢的问题突出； 业务感知无法定量评估：用户业务质量感知、和竞争对手的业务质量对比、各种优化手段对业务质量的提升效果无法定量评估； 业务质量劣化无法预警：日常维护优化工作主要围绕网络指标分段分层开展，无法通过数据统计分析对业务质量劣化进行预警。 各种问题说明互联网业务质量指标体系不完善，不能反映真实的业务质量状态和用户感知。 指标体系不够全面：现有监控指标体系侧重于网络性能指标监控，无法反映现网业务的真实情况，单靠网络性能指标无法准确反应用户的真实感知。 故障发现速度慢：现有指标监控体系不完善，不能快速发现业务质量故障和性能劣化情况，不能根据指标波动对业务质量进行预警。 本课题从互联网业务感知角度出发，对主流互联网业务流程深入分析提炼，建立了互联网业务质量指标体系，对主要业务指标、采集方法、评估标准进行了规范。同时为使指标落地，自主开发了互联网业务质量测试评估系统，通过软探针采集数据，在服务端呈现报表，构建了完整的互联网业务质量监控系统，通过全网各种业务质量数据自动采集和监控，实现分业务、分地区、分时段业务质量评估，解决了监控手段不足的问题。 二、技术方案 （一）概述 本项目研究的目标在于量化互联网用户体验感知，形成可采集、可监控、可提升的业务质量指标体系，并通过开发业务质量测试评估系统，达到持续监控优化互联网业务质量、提高用户感知的目的。 项目从网络、业务、用户感知等层面现状分析，梳理出影响用户业务感知各项主要因素，并且在对各项目主要业务应用协议流程深入分析的基础上，总结对用户感知关联密切的项目，整理制订了互联网业务质量指标集。为了实现指标的落地，本课题开发了业务质量监控系统，通过业务测试探针和集中管理系统，实现对业务质量指标的采集和监控。后续围绕业务质量监控系统，以质量指标的提升为目标，将逐步优化互联网运维管理流程，建立业务质量预警机制，实现由被动维护向主动维护的转变。 （二）方案介绍 本项目的总体研究思路和步骤为： 第一步，用户感知分析：从投诉分析、用户回访等渠道，分析用户对网络的感知以及影响用户业务感知的各种因素。 第二步，建立指标体系：全面分析互联网业务类型，总结主要业务，从应用协议流程分析入手，总结对用户感知关联密切的项目。 第三步，开发应用系统:开发互联网业务质量采集与测试评估系统，实现业务质量指标自动采集，以自主开发软件方式为主，在全网分级、分层部署软探针，实现覆盖范围广、成本低的业务质量监控体系。 第四步，形成一体化运维体系：将监控系统融合到已有网络优化运维流程中，形成质量监控、质量优化、质量评估与提升的互联网业务质量运维管理体系。 以下重点介绍两部分内容： 互联网业务质量指标体系； 互联网业务质量测试评估系统的研究情况。 1、建立标准：互联网业务质量指标体系 为了衡量用户感知，量化互联网业务质量，我们对互联网业务类型进行了深入分析，从信令协议过程入手，制订了完整的互联网业务质量指标体系；另一方面为了将互联网业务质量指标落地，与现实网络维护工作相结合，从网络的实际拓扑和维护分工，互联网质量指标体系从管理上同样采取分层结构。 （1）、业务质量指标体系 通过对当前互联网主要业务的梳理，对各项主要业务协议流程、网络层次建立了评估模型，并且按照不同的业务类型，分别定义了各环节的指标及指标分层组合关系，随后通过现网模拟，确定了各项指标的测试获取方法；最后为了使评估结果更加直观，通过各项KPI指标的加权组合，为各项业务制订了综合评分的规则，并且对测试结果对应的业务质量等级确定了取值范围。 结合目前业务开展情况和中长期的业务规划，业务质量指标体系现阶段重点考虑了WEB浏览、文件下载、在线游戏、自有业务、IPTV内容： 请点击下方文件查看中国移动CMNET网络及业务指标体系技术规范（建议稿）。 （2）、CMNET分层指标体系 为了将互联网业务质量指标落地，集团公司、省公司、地市公司有明确的运维范围与职责的划分，在CMNET网络及业务指标体系时，需要与目前的运维体系相一致。 CMNET质量指标体系宏观分级结构 分级指标体系的实施建议按照“整体规划，分步实施，逐级衔接关联，持续优化”的过程实施。 整体规划 整体规划可以保证指标体系的一致性，保证同级运维实体间指标的可对比性。制订统一的技术规范是整体规