基于主动采集大型综合网管系统性能数据采集机设计和实现.docVIP

基于主动采集大型综合网管系统性能数据采集机设计和实现 　　摘要：文章根据大型综合网管对采集机的要求，分析现有大数据量性能采集触发方法，提出基于主动检测的数据采集触发方法，并给出综合数据采集机设计要点。该方法缩短了数据采集的时延，保障了数据采集的有效性和数据的完整性。 　　关键词：综合网管；性能管理；主动采集；GSM 　　 　　一、概述 　　 　　综合网管需要采集GSM网络、传输网络、数据网络中的网元的性能，资源，告警信息。而其中GSM网络需采集的性能数据量最大。面对综合网管中大量的数据采集工作，在目前的网管系统中普遍是采用周期性采集的方式从各厂家电信设备、OMC（操作维护中心）侧采集性能原始数据，但并不对电信设备的性能数据的完整性进行检测。另一种性能数据采集的方法是，实时对厂家设备侧性能数据的完整性进行检测，当检测出性能数据完整时，触发对性能数据的采集。 　　可以看出，上述两种采集方法都存在一些缺点：采用第一种方式进行采集时，由于OMC侧的测量报告生成时间经常会变化，导致采集周期不确定，而采集周期的设定直接关系到采集到的数据的完整性和及时性。采用第二种方式进行采集时，由于属于实时检测，所以必然会造成厂家设备侧的负担加重，影响厂家设备的性能，同时也会加重网管系统的负荷。有鉴于此，在综合网管的数据采集中引入基于主动检测的主动采集能力，以解决现有性能数据采集技术存在的采集周期，数据完整性不易确定等问题。 　　 　　二、主动检测的方法 　　 　　（一）主动检测模块结构（见图1） 　　参数设置单元用于接受并保存用户设置的参数信息，包括经验值。 　　检测任务生成单元根据参数设置单元中的经验值，生成与采集粒度相应的检测任务，具体过程为：获取厂家设备名称，分析设置检测任务参数，获取经验值，按照检测厂家设备数据、判断数据完整性程序的模版生成检测任务，分别存储到存储实时检测任务队列和历史检测任务队列的任务存储单元中。 　　任务执行单元从任务存储单元存储的检测任务队列中取一个任务作为当前检测任务，执行检测任务，对厂家??备侧的性能数据的完整性进行检测，当检测出性能数据处于完整状态时，向数据采集触发单元发送消息。执行单元判断厂家设备的性能数据是否完整是通过判断厂家设备的性能数据是否满足以下条件进行的：一是厂家设备的性能数据文件大小在第一预设范围。二是厂家设备的性能数据文件大小在预定的时间间隔中没有发生变化。三是厂家设备的数据库的性能数据表中的记录数量处于第二预设范围。四是厂家设备的数据库的性能数据表中的记录数量在预定的时间间隔中没有发生变化。第一预设范围、预定的时间间隔和第二预设范围均可根据网络实际运行情况或者用户需求进行调整。 　　 　　数据采集触发单元在收到性能数据处于完整状态消息时，触发数据采集执行单元进行性能数据采集。其中，经验值是技术人员根据大量的实验和实际工作积累总结得出的，技术人员根据经验，统计得出在某个时间进行检测的时候，厂家设备侧的性能数据刚准备好（完整）的几率较大。 　　参数调整单元，用于获取执行单元的执行结果，并根据执行结果，确定检测出性能数据处于完整的时间，根据该时间发送调整信息给参数设置单元，指示该参数设置单元进行经验值调整。 　　强制触发单元，用于监测执行单元的执行情况，在执行单元检测厂家设备的性能数据处于非完整状态，并且当前时间超过预先设定的任务超时时间时，强制触发数据采集。由此可以避免当厂家设备侧出现故障后性能数据一直没有准备好时会一直采集，而不会触发采集，由此导致的性能指标的缺失，影响网管系统的使用的问题的出现，并且在触发数据采集后继续检测，最大限度地保证了数据的完整性。 　　检测任务终止单元，用于监测执行单元的执行情况，在执行单元检测厂家设备的性能数据处于非完整状态，并且当前时间超过预先设定的任务抛弃时间时，终止并删除检测任务。通过对一些无用的检测任务进行删除，进一步减轻了厂家设备侧和采集机的负荷。 　　（二）主动检测重要流程 　　第一，主动检测模块主流程（见图2）包括以下步骤： 　　步骤S101：根据经验值生成性能数据完整性检测任务。其过程为：一是预置经验值及参考信息。参考信息包括：用于指示厂家设备的性能数据文件大小范围的信息，或者用于指示厂家设备的数据库的性能数据表中的记录数量范围的信息，或者用于指示厂家设备的性能数据文件大小变化的信息，或者用于指示厂家设备的数据库的性能数据表中的记录数量变化的时间间隔范围的信息。二是编制性能数据检测任务的程序模板，根据经验值和性能数据检测任务的程序模板生成性能数据检测任务，每一个任务赋予一个唯一的任务序号存入任务池。由此可知，性能数据检测任务程序模板的内容是：在经验值时间获取厂家设备的性能数据文件大小及其变化、厂家设备的数据库的性