一种面向航天领域的实时数据处理框架研究.docVIP

一种面向航天领域的实时数据处理框架研究 　　【摘 要】提出一种面向航天领域的实时数据处理框架，采用插件式框架设计方法，实现行业数据的高效实时处理。 　　【Abstract】In this paper， a real-time data processing framework for aerospace field is proposed. The plug-in framework design method is used to realize the efficient and real-time processing of industry data. 　　【关键词】实时；数据处理；框架 　　【Keywords】real-time； data processing； frame 　　【中图分类号】G15 【文献标志码】A 【文章编号】1673-106905-0154-02 　　1 引言 　　信息与通信技术的飞速发展，已深刻影响到航空、航天、能源、钢铁、电力等工业领域的生产模式与流程，促使行业生产模式由传统的粗放式的以人工为主向精确化、自动化、智能化方向转变。通过信息系统对工业生产过程中产生的大量数据进行实时处理分析，实时监控，为生产决策提供自动化智能化的数据支撑。 　　航天领域的实时数据处理一般以实时传感与实时采集的数据为数据源，包括各类传感器采集的数据、现场各类控制终端的数据等，数据量大，数据采集的频率高。特别是随着物联网概念的出现与技术的应用，航天领域实时产生的数据量在成倍增加。随着云计算与大数据等IT技术的出现与发展， 互联网领域中产生了诸多数据处理框架，如Hadoop、Spark等，此类框架采用批处理方式的MapReduce技术，实现海量数据的实时处理，数据处理的延时一般为秒级，能够满足互联网领域大部分数据实时处理需求。但在工业领域，由于监测与控制的精度更高，一般要求在毫秒级完成数据的实时处理，现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算需求。本文提出一种面向行业应用的实时数据处理框架，实现满足多种数据源、多种数据类型的实时数据处理。 　　2 数据处理方法 　　在航天领域中，测量系统作为飞行器、航天测控系统中的重要组成部分，用于获取飞行器内部各系统的工作状态参数和环境数据，为评定飞行器的性能和故障分析提供依据[1]。而数据处理是测量过程中的一个重要环节，其任务是将接收到的原始信息，经过挑路、拼接和运算，完成各类参数的处理，处理结果以时间函数值表或时间函数曲线提供[1]。数据处理包括从数据块中提取数据帧、对数据帧进行后处理、处理数据帧中的参数、输出处理结果。 　　3 实时处理框架设计 　　3.1 软件框架的概念 　　软件框架是整个系统或系统的一部分的可重用性设计，由一组抽象出来的类及其实例间的相互作用方式组成。框架把一个系统有机地分解成一组相对独立的构件，并定义了各个构件间的接口和作用关系，符合软件工程中设计的模块化、独立化和信息隐藏等特征。框架提供了一个大粒度的重用技术，即不仅支持源代码级的重用，而且支持分析和设计以及体系结构的重用，因而被认为是一种最有前途的面向对象技术。 　　框架必须是健壮的、可扩展的、灵活的，它要求基于开放或共享标准。框架的设计要力求做到完备性、灵活性、可扩展性、可理解性，同时抽象能用于不同的场合；用户能轻松地添加和修改功能，定制框架；用户和框架的交互清晰，文档齐全。框架设计的一个核心问题就是发现可重用的设计和“热点”，以保证框架具备充分的灵活性，使用户能在已有构件的基础上生成应用程序，实现“零代码编写”的理想目标。 　　3.2 实时处理框架设计原则 　　实时处理框架设计采用框架与插件相结合的设计方式，把数据处理各功能从框架中剥离出来，降低框架的复杂度，让框架更容易实现。数据处理功能与框架以一种很松的方式耦合，两者在保持接口不变的情况下，可以独立变化和发布。采用该设计原则，具有以下好处： 　　无需更改或编译程序就可以扩展程序的功能； 　　可以在不需要源代码的环境下扩展程序的功能； 　　在一个程序的业务逻辑在不断发生变化仍能灵活适应。 　　4 实时处理框架实现 　　4.1 框架接口 　　框架对各插件进行统一管理，软件启动时，自动识别并加载指定目录下的所有插件。框架共抽象出数据提取器、帧提取器、数据处理器、输出器共4类插件接口，各类插件需要实现相应类型的插件接口，才能被框架正确的调用。框架与插件之间的关系如下图所示。 　　4.2 框架实现 　　程序框架包括主程序模块、数据源模块、缓冲区管理模块、数据处理模块、状态管理模块、配置管理模块、插件管理模块与日志管理模块共8个模块。主程序模块负责管理各模块中的对象，并完成各对象的创建