综合网络数据采集平台技术方案V..docx

综合网络数据采集平台技术方案修改记录序号版本日期修改人修改描述1V1.02014-08-05曹哲铭初始创建2V1.12014-11-19曹哲铭全部章节内容修改概述背景随着网络运维管理集中化程度的进一步提高，网络维护人员及管理人员对网管系统的新的需求也不断出现，网管集成的应用功能不断增多，逐渐造成以下问题：系统扩展能力不强 ：采集处理能力无法平滑扩展，新增的采集机需要手工部署相应的采集程序及调试，升级割接过程存在影响现网业务的风险。系统可靠性低：采集任务为静态负载分配，当某采集机出现故障，没有自动恢复能力。采集资源浪费：数据消费情况没有有效管理手段，不支持按需采集；各专业分别建设采集平台，容易造成对网元的重复采集；原有专业采集机普遍采集小型机硬件架构，资源利用率低，且对硬件和机房要求高。采集效率有待提高 ：集团对上报数据的时延要求在不断提升，同时省端用户对生成及时报表的速度也不满意。需要从采集速度、接入速度两个方面提升现有采集系统的效率。采集管理维护困难：各专业分别开发采集程序，造成采集程序、数据、设备分散，网元访问频繁，网元安全无法保障，管理维护岗位重复设置，缺乏集中的维护监控手段。 采集质量无法保障：缺少采集数据质量监控的手段，当采集数据不及时、不准确时，无法及时自动发现，采集问题难以定位，采集过程不透明。数据开放共享问题：用户对采集层数据的开放管控要求越来越高，需要采集系统具有统一的北向数据服务接口，面向各应用系统提供灵活的数据采集定制功能。接入效率问题：新网元接入或新指标升级开发效率低，开发周期长；指标算法问题：指标算法不透明；系统安全问题：目前网元/设备厂家网管访问信息多处使用多处配置，采集系统对外共享数据接口标准不一，导致对系统安全存在威胁；为了更好的解决以上问题，综合网络数据采集平台整合专业网管采集模块，向各类系统提供采集共享数据。统一规划数据采集也是集中管理、集中监控、集中维护的网络维护思路的良好体现。设计目的针对目前OSS支撑系统建设中的数据问题从系统生命周期的各个阶段分别进行问题现象的描述，如下：规划阶段：不同的系统对相同的原始数据进行采集，造成网元处理压力大；不同的系统由于数据边界划分不清晰，造成数据的生产和消费脱节，每个系统按照各自理解管理数据，形成重叠交叉；由于没有清晰的数据共享要求，系统规划时无法满足后续项目对于数据开放的需求。建设阶段：建设综合性系统，需从各专业系统提取数据，但专业系统由于接口问题、模型问题、提供能力问题，进行有效数据交互的工作量大、灵活性差，实施极其困难；同一组数据由于在不同系统中模型定义不一致，需要进行映射来解决，增加实施工作量和难度。使用阶段：由于OSS系统提供的数据质量不高，造成可信度下降，影响系统的推广使用；希望对系统产生的数据进行进一步加工处理，发现系统的数据存储和组织方式完全封闭，根本无法获取和使用。维护阶段：系统在维护过程中，发现数据不完整、不及时，却无法进行问题定位，导致系统的可用性下降；不同系统提供的数据相互矛盾，但数据的产生处理过程无法踪。这些问题归结到统一采集适配方面的需求能力问题主要体现如下：制定统一的采集适配规范，支持各专业数据接入，支持第三方厂商采集适配器接入；统一任务调度和任务管理，提升系统执行效率；优化共享机制，加强共享安全管理，以消费驱动采集，减少无用采集，提升机器硬件利用率；加强配置信息集中管理，提升采集系统自管理能力和系统自维护能力，方便数据的快速接入；优化系统执行效率，增强数据质量监控手段，全面提升数据质量；实现多台采集机之间的硬件资源共享和任务动态分担，实现采集机的负载均衡。设计原则开放性：开放性与标准化的IT系统赖以生存发展的基础，系统建设必须基于业界开放式标准，以保证系统的生命力，保护投资，体现良好的扩展性和互操作能力。安全可靠性：系统本着安全、可靠的原则，提供良好的可靠性策略，支持多种安全可靠性技术手段，制定严格的安全可靠性管理措施。先进性：系统应采用先进成熟的设备，确保系统的技术先进性，应用软件充分采用国内外先进技术，立足国内发展，保证投资的有效性和延续性。高效性：遵从系统设计的高效性原则，充分利用软硬件平台的处理能力，实现尽可能高的系统运行效率，满足系统的运行要求。可扩展性：系统设计应充分考虑扩展性。系统设备必须能充分估计未来的扩展情况，系统设计必须是模块化、可配置，能够适应一定时间内的业务变化，并保证系统在进行扩展时，不影响系统的正常运行。参考资料《中国移动采集共享与联机指令平台技术规范总体技术要求》《中国移动采集共享与联机指令平台技术规范接口技术规范》《中国移动CM-OSS2.0总体技术规范》《中国移动通信网设备OMC或网元直连北向网管接口规范》《中国移动综合网管系统南向接口数据规范》《中国移动运维门户系统技术规范》《中国移动