互联网骨干网网间业务数据全量分析及应用系统.docVIP

第 PAGE 1 页 共 NUMPAGES 12 页 互联网骨干网网间业务数据全量分析及应用系统 一、背景情况 近年来，飞速增长的数据业务推进着互联网与移动一体化应用。据CNNIC今年一月公布的“第23次中国互联网络发展状况统计报告”披露：截至2008年12月31日，中国网民规模达到2.98亿人，其中无线上网用户数达到1.18亿人，较2007年增长了133%；无线上网用户占网民总体40%，同比提高10个百分点。互联网产业重心正在向移动互联网快速转移。 面对电信重组，面向全业务经营，如何做大做强中移动的互联网业务？如何挖掘无限商机，拓展互联网业务移动化？如何提高互联网通信质量，提升用户满意度？如何构建和谐的网络，促进TD网数据业务发展？究竟重要客户、热点网站访问量有多大，价值几何？怎样的网间结算模式有利于数据业务发展？怎样的数据业务定价更有利企业持续发展？等等一系列问题亟待思考与探索。 上海公司从二00七年十二月起开始酝酿、筹划对互联网骨干网网间业务数据的全量采集、处理及分析应用，经多方调研与可行性研究，确定了项目研发总体框架与目标。几易算法，攻克峰值近40Gbps海量业务数据的全量采集、处理及分析难关。二00八年十二月八日系统上线试运行，报表翔实、运行稳定，成功实现系统建设目标。 二、系统建设目标与方案 （一）建设目标 （1）实现动态TopN*TopN排名统计与应用分析。 （2）实现对重要网站、大客户及用户行为的剖析。 （3）实现互联网骨干网网间通信质量动态监测。 （4）实现互联网网络运行信息安全监控与预警。 （5）实现境内外互联企业按流量结算技术屏障。 （6）实现互联业务分布及业务发展策略效用探析。 （二）建设方案 1、硬件架构 系统实现Cmnet上海节点网间所有2.5G POS链路的全量数据采集、分析与应用。采用的分布式系统架构，组网合理；采用双机热备模式，运行可靠；采用并联分光方案，不影响主干链路通信质量。 图1：系统拓扑图 2、软件架构 2.1.1 采集层：提供网络数据包的获取和分流，将数据复制到协转；将数据光信号转换成电信号，并分流到多个GE口输出。 2.1.2 处理层：分析第三层至第七层，判断数据包的业务流向和类型；提供数据包的预处理，包括检测、分析和统计工作。 2.1.3 应用层：实现访问排名、应用分析、统计报表等综合展示；为关联系统提供流量分析、预警及模拟演示数据。 图2：软件架构图 三、系统核心技术及特点 传统的数据业务分析主要是基于xflow协议的抽样采集（一般1000：1），或者基于设备处理的分粒度采集，在实际应用中存在统计数据的精细偏差，难以采集低概率业务行为数据，无法实现全量的汇总数据，无法实现按流量结算，无法满足运营商对互联网业务的精确分析需求等等一系列问题。 本项目在研发过程中，实现的对互联网骨干网网间海量业务数据的全量采集、深度挖掘分析技术属全国通信行业首创，研发的“一种互联网网间业务采集分析方法及装置”（SH0902002）获得集团公司创新成果专利。 本项目研制的特定数据结构和处理流程，高效的HASPMAP、内存数据库等开发技术，以及全量分析处理器F2AP（Full Flow Analyze Process），从传输层到应用层协议对业务的数据包进行检测和识别，以100%的准确率检测分析出业务类型，解决数据业务运营管理、经营分析所面临的实时性、精准性、全面性等障碍问题，实现了数据精准、采集快速、结论实用的特性。 本发明技术与传统分析技术相比具有如下优点： 全量数据精准采集的技术先进性 对互联网骨干网业务进行了全量接收采集，避免了采样比采集方式对业务数据包的丢失，满足对业务分析、控制的100%精准度要求。 全量数据深度处理的技术创造性 通过特定数据结构和处理流程，高效的HASPMAP、内存数据库等开发技术，实现了具备海量数据特征的全量业务数据的高效率处理。 全量数据应用分析的技术实用性 精确区分并统计出各类业务、各种应用类型的业务行为，实现的TopN*TopN排名矩阵、Top100通信质量监测、流量结算预演以及运营分析等功能，极大程度提高业务分析质量，有力支撑数据业务发展。 四、取得的社会和经济效益 本系统通过互联骨干网网间数据进行全量采集、分析和统计，对互联网骨干网网间通信的运行状况、质量、业务分布、经营及结算分析等都做了翔实的分析统计和直观报表呈现。系统运行产生的社会和经济效益重点在下面几个方面： （一）发掘重要用户、追踪热点网站 动态分析网间流入和流出全量的TopN排名，发掘热点网站以及每个热点网站访问Top100排名，形成Top100*Top100排名矩阵。 通过获取的移动用户访问他网TopN IP地址或WEB网站，在移动网内架设此类网站镜像，可有效降低互联网骨干网互联带宽负荷，显