一种通用多协议数据采集系统设计与实现.docVIP

一种通用多协议数据采集系统的设计与实现 　　摘 要：数据采集系统一直是工控系统的核心要件。论述一种基于Modbus协议、Fins协议和IEC104协议的通用多协议数据采集系统，该系统根据不同协议的特点将数据进行标准化处理，支持数据实时订阅、冗余处理和统一发布。应用结果表明，该系统是一个实时性强、易扩展、易维护的高效稳定的数据采集系统。 　　关键词：多协议；数据采集；标准化处理；框架 　　中图分类号：TP393 文献标识码：A 文章编号：2095-1302（2015）06-00-02 　　0 引 言 　　数据采集，是指从传感器和其它待测设备等模拟和数字被测单元中采集信号，再由计算机进行存储、处理、显示或打印的过程。数据采集过程往往表现出“数据量大”、“数据增长速度快”、“数据冗余”、“设备通信协议不统一”等特点，这往往会导致采集系统无法适应不断增长的处理需求，系统扩展性能低，难以维护[1]。本文论述了一种基于Modbus协议、Fins协议和IEC104协议的多协议数据采集系统，该系统根据不同协议的特点将数据进行标准化处理，支持数据订阅、冗余处理和统一发布。 　　1 系统总体结构 　　1.1 系统层次结构 　　系统总体结构如图1所示，系统主要由采集框架层，缓存判重层和数据管理层三部分组成，其中采集框架层包含轮询框架和主动上传框架，不同协议可根据协议的特性来选择相应框架，比如Modbus和Fins协议都没有定义主动上传的功能所以采用轮询框架，而IEC104中有主动上传的功能则采用主动上传框架。缓存判重层可以将不同协议间的数据进行标准化处理，减少数据冗余和数据发布时的负载。数据管理层是将采集上来的数据统一管理，然后再分发给各个订阅者。订阅者可以是数据库或者显示界面，数据管理层可以直接存储到数据库，也可通过共享内存或者套接字存储到数据库或者显示到界面上。如果是显示到界面上，增加订阅的功能便可减少显示界面查询数据库的延迟，提高采集系统的实时性。 　　1.2 系统线程模型 　　系统总体表现为一个进程，不同协议的数据采集工作在不同的线程里。轮询框架下的每个协议有两个线程，主动上传框架下的协议采用一个线程。数据管理模块中等待订阅的工作为一个线程，数据的发布为一个线程。 　　图1 系统总体结构图 　　2 关键技术 　　2.1 轮询框架的实现 　　轮询框架的核心为两个线程和两个链表，线程分为主线程和工作线程，主线程主要维护两个定时器，工作线程进行实际采集和设备重新连接的工作。主线程的两个定时器分别对应工作线程的两个链表，两个链表分别为数据采集设备链表和重新连接的设备链表。 　　轮询框架分为两个线程，可以隔离定时器和实际的采集或重连工作，减少彼此之间的影响。网络通讯有很多不确定的因素，在一个设备上的采集延迟可能会影响到其他设备上的数据采集。将定时器和实际工作设备两者隔离就能保证各设备上一定次数的信息采集，确保系统正常稳定的运行。 　　2.2 主动上传框架的实现 　　主动上传框架采用Reactor编程模式，对各socket描述符进行监听，有数据到来就对协议进行解析，回调提前注册好的信息处理函数，取出数据。如果设备发生故障则关闭socket描述符，启动重新连接设备的定时器，定期进行设备重连。 　　IEC104协议本身规定了4个定时器，包括为连接建立超时进行重连的定时器t0（30秒）、发送或测试APDU的超时定时器t1（15秒）、无数据报文时确认的超时定时器t2（10秒，t2t1）[2]。所以在选择主动上传框架使用时应根据协议本身的规定做特殊化处理。 　　2.3 不同协议数据的标准化处理 　　由于不同协议间模拟点的数据信息表示可能不一致，比如Modbus和Fins协议模拟点的数据信息选用uint16_t来表示，而IEC104协议选用float来表示，所以系统统一定义了一个数据结构--struct Data，不同协议下模拟点的信息统一用std：：unique_ptr指针表示，然后根据协议类型填入 std：：map 或std：：map。协议间的数字点信息则统一用std：：map 来表示。这样可以达成不同协议数据的标准化，方便了系统的缓存判重和统一发布。 　　2.4 缓存判重去冗余 　　系统总体用一棵红黑树来缓存最近一次采集的所有协议下所有设备的数据信息，这样每次进行发布的都是所有设备下有数据变化了的点信息，大大减少了数据冗余和发布时的负载，明显提高了系统性能。另外有了缓存模块，设备信息的显示界面可以不需要读取设备列表上的配置文件，而从网络上直接获取设备列表。 　　2.5 数据管理统一发布 　　数据管理模块参考了muduo的日志库[3]，线程模型在前端线程收集数据，数据信息到达一定大小或者数据发布定时器超时之后将