基于开源系统的综合业务数据采集系统的开发研究（信息技术资料）.docVIP

基于开源系统的综合业务数据采集系统的开发研究（信息技术资料） 目录 TOC \o 1-9 \h \z \u 目录 1 正文 1 文1：基于开源系统的综合业务数据采集系统的开发研究 2 一、引言 2 二、 开发目标 2 三、开发方案说明 4 总体方案说明 4 代码说明 8 四、测试与分析 10 五、总结 10 文2：综合业务系统的实施保障措施 11 6综合业务系统的实施保障措施 11 6. 1业务流程再造及重组 11 参考文摘引言： 15 原创性声明（模板） 16 文章致谢（模板） 16 正文 基于开源系统的综合业务数据采集系统的开发研究（信息技术资料） 文1：基于开源系统的综合业务数据采集系统的开发研究 一、引言 随着光网业务的发展，在承载网以及接入网上有多种业务同时承载，包括上网业务、IPTV业务、光网语音业务等。在综合承载状态下的故障处理对维护人员是一个很大的挑战。以IPTV业务而言，它的承载方式一般为IPTV终端接入在家庭网关后。真个二层接入到承载网都有可能出现故障。 常见的故障现象，包括终端无法获取IP地址、认证失败、直播信号卡顿、视频马赛克、点播黑屏等等。从已有故障处理经验看，IPTV-SR的处理板卡、交换机接口、交换机板卡、OLT的上联板卡、OLT的转发处理引擎、家庭网关设备等都可能引起各种故障现象。故障原因复杂多样、故障点位多，并且很多时候故障现象并非持续不断，而是在某些时间段随机出现。这使得处理人员比较难以快速准确的确定故障点进而有效处置故障。 当面对复杂故障现象进行疑难故障处理时，往往需要使用专用的测试仪表在不同的监测点进行长时间监测来进行故障分析。而相应的这种处理方式的成本非常昂贵。为此我们设想使用创新的处理模式进行故障处理。 利用开源系统以及免费资源进行自主开发，既能深度定制满足业务需求，又能大大降低整个系统的成本。本文详细介绍了利用OpenWrt [1]定制开发数据采集终端的技术原理、实现方法与测试过程。 二、 开发目标 为了在复杂的网络环境中定位故障点位，我们需要在不同测试点采集全部数据进行比对，从而确认问题发生的位置。对于整个故障处理系统而言首要解决的问题是业务数据的采集问题。 当发生故障时，通过初步的处理判断后，在需要进行检测的测试点，用定制的测试终端串接或者旁路方式接入进去。采集终端将采集到的数据完整的回传到云存储平台。然后通过分析服务器比对不同的数据可以确认哪个点位出现问题。 该处理模式主要的优点： 成本低 采集终端选择具有GE/FE的小型路由器进行自主开发完成，相比购买测试仪表价格低廉很多。由于IPTV的故障现象很多是时间上偶发的，为了处理故障需要做24小时的抓包分析。IPTV现在的高清频道码流为8Mbps，，一共三种码流。假设采集一路高清频道共24小时，则需要的存储空间为1M*60*60*24=84G字节。这种24小时的抓包，需要高性能的仪表，普通的PC机容易出现存储文件错误等导致无法后续分析。如果采用IPTV仪表在多个测试点进行实时分析，则相应的仪表费用更贵。该创新测试方案利用云端的存储能力，保证数据可以长时间持续抓取。 可扩展性高 当远端的分析服务器以及云存储服务器具备能力后，只需采购一定的测试终端即能方便的全网部署进行测试。同时测试终端能抓取全业务数据，可以针对光网的全业务故障进行分析诊断。方便维护人员对于上网、IPTV、VOIP等各类型业务的疑难问题进行深入分析。 部署方便 只需要外线人员联系用户后将测试终端串接到用户网络内即可。无线现场人员进行复杂的配置部署，也不用修改用户终端或者网络设备。对于用户的业务应用完全透明，可以在比较好的用户感知状态下进行故障诊断分析。 针对测试采集终端，需要完成的功能包括： 1.串接在用户网络内，不影响用户业务使用； 2.准确采集用户业务数据； 3.将数据回传到远端云存储平台。 三、开发方案说明 总体方案说明 采集终端由于要求串接在业务环境中不能影响用户业务，因此两个串接的接口必须工作在第二层以下，尽量不修改以太帧头信息保持信息传送的透明可靠。数据采集通过端口镜像方式进行并将数据文件保存为pcap格式存放在本地存储卡中。采集终端主要功能是数据采集，采集的数据是为了故障判断与处理，因此要求完整的将用户业务的所有交互数据能够保存下来。采用端口镜像可以完整的保存所有业务数据内容，方便后续的进一步处理分析。 采集到的数据可以通过实时的带内或者带外方式回传到远端的云存储系统中。考虑到实时采集到的数据量存在较大的带宽差异性，VOIP在64Kbps以下而高清IPTV则要达到8Mbps左右，高速上网业务可能达到50Mbps。如果直接采用实时回传，带内方式会影响到用户正常的业