基于SLA 数据采集平台关键技术研究.docVIP

基于SLA的数据采集平台关键技术研究 周立 雷维礼 （电子科技大学通信与信息工程学院 成都 610054） 【摘要】：以SLA为中心的网络运行监测系统，主要功能是对IP网络的运行态势进行动态监测，通过被动和主动测量结合的方式获得原始数据，将这些数据综合、计算、分析后，通过图形和表格将网络的运行态势以较为全面、直观、简洁的方式显示出来，本文主要结合面向SLA的网络监测系统的特点，以 CORBA作为探讨一个分布式数据采集平台的系统结构以及关键技术。 关 键 词 SLA；COBRA；NetSnmp；分布式采集 1．引言： 数据采集平台作为SLA网络运行态势监测系统数据的来源，统一为系统其他功能模块提供需要的网络运行数据，其重要性不言而喻。我们考虑当业务规模越来越大的时候，以单台PC在资源有限的情况可采集的设备数量也是有限的，所以从这个角度出发，我们有必要采取多个采集器分布式并行采集数据，以形成多台PC协同完成被采设备（网络的关键路由器或者服务器）mib库里oid信息的采集。 2．系统结构设计： 本系统以分布式中间件COBRA为基础，分为三层设计，分别是采集平台管理层，采集器管理层，核心采集器。其中采集平台管理层主要负责采集器的调度为各个采集器分配不同的采集任务，以尽可能高的效率完成每一批次的采集任务。采集器管理层只负责管理当前采集器的被采集设备，包括增加被采设备，删除被采设备，以及更新被采设备IP等等。核心采集器主要功能就是以net-snmp开发包为基础，完成每一批次的具体的采集任务。 3 关键技术： 采集平台管理层根据各个采集器的资源实时的为各个采集器分配不同数量的采集任务。假设每个采集器都有一个上限的最大可采集设备数的配额，当某采集器超过此配额后，会出现严重的系统资源紧张。以最大的可采集设备数做为调度策略的依据，实现了两种基本的调度策略。而核心采集器使用多线程模型，对可采集设备进行并发的采集所需要的关键服务器和路由器的信息，尽可能使采集效率达到最高。采集周期的确定也是系统获的正确数据的关键。 3.1 分布式中间件的选择 当前比较流行的分布式中间件技术有CORBA、COM/DCOM、Web Service、EJB/RMI。它们各自有不同的特点，有不同的最佳应用场合。在比较各个分布式中间技术后确定采用CORBA中间件作为数据采集平台设计的基础。 CORBA是针对多种对象系统在分布式计算环境中如何以对象方式集成而提出的，它为对象管理定义了一个对象模型。该模型由对象请求代理、对象服务、公共设施及应用对象四个主要部分组成，该模型及其框架结构将面向对象技术与客户/服务器计算模式结合起来，有效的解决了对象封闭和分布式计算环境中的资源共享、代码重用、移植性及应用间的互操作等问题。 而CORBA的软件总线技术为设计开放式系统提供了基础。系统中的各个采集器都作为一个对象挂接在软件总线上，并通过软件总线通信，使得分布在不同平台不同位置的组件彼此之间可以透明访问。增强了系统的松耦合性，开放性和可扩展性。 3.2 两种基本调度策略 数据采集平台调度各个采集器的资源分为以下两种方式： (1) 完全平衡策略： 当有新的采集器加入到协同采集的任务时或者有新的被采集设备需要采集的时候，会打破以前各个采集器分配的设备数的平衡，让新的采集器从之前采集器里分配一定数量的被采设备，共同完成每一批次的采集任务。 (2) 半均衡策略： 如果采集器没有超过此配额，当需要增加新的被采设备时，我们就会在那个配额小于最大配额的采集器上分配新的被采集设备，多余的没有采集的设备会分配到另外一个剩余配额最小的那个采集器上，这样就保证了每个采集器在最大配额的限制下完成采集任务，如果所有采集器均超过了配额，整个采集平台处于系统资源状态，则会将已经分配给采集器后剩下的被采集设备均衡分配给各个采集器，并且通知监控系统需要增加新的采集器来缓解系统紧张状态。 通过上述两种策略能够在有新的采集器加入到采集器队列中，或者有新的需要被采集的设备加入到采集任务中时，能够很好的通过调度策略让每个采集器分配一定数量的任务让系统性能得到最大的提升。 3.3采集策略的确定 根据net-snmp提供的采集方式，分为以下三种： (1)单线程同步采集： 采用单线程模型，采集器在采集完一个关键设备后，继续采集下一个关键设备。由于本数据采集平台设计为周期性采集关键设备上的数据，所以此采集方式会使采集周期与被采集设备的数量成线性关系，不利于采集周期的确定。 (2)多线程同步采集： 采用多线程模型，多个采集器同时工作，每个采集器负责设备集中的一台设备，同时进行并发式的采集。由于NET-SNMP采集包提供了线程安全的API函数，所以能够很好的完成采集任务。此方式的优点是多线程采集使得采集效率得到很大的提升，并且每个线程负责采集