深度强化学习为智能航空发动机控制赋能.docx

航空发动机是一个高度复杂的系统，涉及时变性、非线性、耦合性和多变量等问题，这些特点使得其控制成为一项极具挑战的任务，主要包括控制策略优化、燃油效率提升、故障检测与诊断、环境自适应等方面。传统控制方法主要是在特定飞行状态下基于线性模型设计控制器，但这种方法对于在广泛飞行包线内运行的发动机效果不佳。此外，由于发动机部件长期运行导致的性能下降，传统控制器将难以适应新的控制环境。随着人工智能技术的发展，特别是深度强化学习的进步，国内外研究人员开始将其与航空发动机控制结合。深度强化学习旨在探索智能体如何在复杂和不确定的环境中学习到最优策略。通过与发动机不断交互，智能控制器能够学习并优化控制策略，适应发动机工作状态的变化，从而表现出优越的环境适应性。

航空发动机控制的发展

航空发动机的构型及控制系统自20世纪以来经历了多次变革，如图1所示。诞生于20世纪中期的燃气涡轮航空发动机构型较为简单，采用液压-机械式控制系统，这要求飞行员根据飞行高度和速度手动操作油门以调整燃油流量，将发动机转速控制在一定范围内保持不变。随后为解放飞行员的精力并提高发动机控制精度，1950—1980年，以比例-积分-微分（PID）为代表的单变量反馈控制器被应用且代替了早期的油门杆前馈控制，形成了结合电子调节器的液压机械式控制系统。但随着飞机性能需求的提升，发动机的结构逐渐复杂化，可调部件从早期的1个增加至10个以上，系统的耦合性也逐渐变强，这也导致面向线性系统的经典控制方法已难以适应发动机高性能的控制要求，从而促进了现代控制理论技术的应用，线性二次型调节器（LQR）、线性二次型高斯/回路传输恢复（LQG/LTR）及多变量鲁棒控制等的各种控制方法在1980—2010年间被广泛研究和应用。美国针对航空发动机多变量控制开展过许多研究，其中包括利用多变量控制解决F-35战斗机短距起飞垂直降落的特殊飞行任务、为确保控制精度和发动机的最佳性能对F135发动机进行多变量控制等。尽管传统控制方法能在特定飞行状态下稳定控制航空发动机，但面对发动机来流条件的变化，其控制系统性能可能会下降，无法实现环境自适应，因此智能航空发动机控制的概念被也逐渐被提出。

图1??发动机控制系统的发展历程

深度强化学习基本原理及无模型控制

深度强化学习融合了深度学习的高效特征提取能力和强化学习的先进策略学习机制，提供了一种强大的自主学习框架，能够在无需人工干预的情况下，通过与环境的动态交互，自我学习以完成特定任务。这一技术的显著特点是其知识构建和学习过程完全依赖原始输入信号，不需要预先的人工编码。因此，深度强化学习形成了一种端到端的感知控制系统，这种系统具有广泛的应用潜力。

在多种领域中，深度强化学习已经展现出强大的适用性和灵活性，其训练过程可以概述为以下几个步骤：智能体感知目前所处状态并根据当前策略选择动作；在环境中执行该动作从而转移到新的状态并获得相应奖励；将当前状态、动作、奖励和新状态作为经验元组存入经验回放池中；从经验回放池抽取一批经验用于学习最优策略，使智能体更倾向于选择奖励较高的动作。循环以上过程，如图2所示。通过以上的训练过程，智能体会逐步优化其决策策略最终确定出实现既定目标的最优策略。

图2??深度强化学习的训练过程示意

自动控制领域当前面临的主要挑战源于被控系统的复杂性，尤其是当系统表现出显著的非线性、时变性和不确定性时，这些特性使得建立高精度数学模型异常困难。PID控制算法虽不依赖精确的数学模型，但在处理复杂的非线性或时变系统时，其性能有限。而像LQR、模型预测控制（MPC）和自适应控制等算法，则通常在高度依赖精确系统模型的基础上设计，面对模型不准确或不完整的实际情况时，控制效果可能显著下降。与传统控制算法不同，深度强化学习可以不依赖系统的数学模型，通过从系统中收集的数据来逐步学习和优化控制策略，实现最优控制。显然深度强化学习不仅给控制领域注入了新的活力，还为复杂系统控制策略的探索开辟了新的途径。

深度强化学习的应用探索

航空发动机系统常表现出噪声、不确定性和非线性，而深度强化学习因其面对复杂系统时的显著优势而被推向了航空发动机智能控制的前沿。

在21世纪初，英国学者马克·豪威尔（MarkHowell）率先开展了将强化学习技术融入发动机控制系统的研究。其工作聚焦于PID控制算法，该算法以结构简单、适用范围广而著称，但其参数调整过程往往繁琐且依赖于人工操作。因此他提出了一种基于连续动作空间的强化学习自动机，用以在线自动调整发动机怠速转速控制的PID参数，如图3所示。此方法相较于传统的人工调参而言大幅降低了人力成本，同时显著提高了调参效率及发动机的动态性能。这不仅为深度强化学习在实际控制系统中的应用奠定了实证基础，而且对发动机控制技术的发展做出了实质性贡献。

图3??基于深度强化学