【基于深度强化学习的冷热电三联供能源系统运行优化分析案例3700字】.docxVIP

基于深度强化学习的冷热电三联供能源系统运行优化分析案例

在现实的能源系统模型中，各个部件能耗关系，能源消耗量变化情况更为复杂，在现实案例中可能存在数十个变量，因此其内部的状态转换关系极其复杂，如果利用Q学习进行能源系统优化，需要观测难以计数的动作和状态。当外部环境状态和动作数目过大时，Q学习难以展开运算。同时受限于Q学习算法本身的不足，在解决实际问题中，智能体常常陷入局部最优陷阱，进而无法得到准确的优化方案。针对这一问题，本章节采用深度强化学习的方法对冷热电三联供综合能源系统进行优化设计，从而获得良好的能源系统优化方案。

1.1深度强化学习算法

深度学习是机器学习领域的新研究方向，出于人工智能的开发研究而提出了深度学习这一概念。深度学习指智能体通过学习事物内在本质和数学规律，进而获得解决相关问题的能力33。深度学习的最终目的是让计算机像人一样能够处理各种视觉，音觉信息。深度学习中常常会用到卷积神经网络，借助卷积神经网络，智能体能够快速识别样本，或许数据。深度学习着重体现了对事物的感知分析能力。

DQN强化学习算法是由谷歌公司的DeepMind团队所提出，这是一种典型的深度强化学习算法。该算法强调从原始数据中进行学习，可以有效解决实际案例中状态空间过大的问题，大大增加了强化学习算法的适用范围。深度强化学习不需要对原始数据进行过多处理，主要凭借智能体对环境的主动学习来工作。因此深度强化学习更体现出感知这一概念，这种思维方式也更加接近于人大脑的思维方式。深度学习原理如图4-1所示：

DL

DL感知RL决策

智能体

观察奖赏动作

环境

图4-1深度强化学习原理图

其学习过程主要通过以下三步来完成，首先在每一个时刻智能体与环境交互就会得到一个高维度的观察，并利用深度学习的方法来感知该观察，得到具体的状态特征第二步是基于预期的回报来评价动作的价值函数，并通过策略将当前状态映射为相应的动作值。最后环境对此动作做出反应，并得到下一个时刻的观察。通过不断循环以上过程，最终可以得到智能体实现最优决策的能力34]。

1.2基于DQN的冷热电三联供能源系统运行优化

第三章的能源系统优化案例采用的是Q学习方法，而现实情况往往更为复杂，Q学习的实用性往往较低，当状态空间，动作数目相当多时，Q学习中的Q-table往往特别庞大，难以起到简化计算的效果。Q学习也常常陷入局部最优的陷阱，导致在现实生活在难以得到最佳优化方案。而在深度强化学习中，Q学习中的Q-table可以被DQN算法中使用的卷积神经网络所代替，这样可有效解决因状态空间，动作数目过多而引起的Q-table庞大这一问题。利用深度强化学习的卷积神经网络可以将Q-table的更新转化成了函数的拟合问题，该函数也可以称为值函数估计，可以由下式表达：

Q(s,a,θ)≈Q*(s,a)=Es,a,r,s′[r+ymaxQ*(s,a)|s,a](4-1)

其中s代表当前状态，a代表当前动作，r代表当前期望，s代表下一时刻状态。Q*(s,a)表示在状态为s,动作为a时所获得的最佳Q值，也是在动作为a时

所得到的最大Q值。通过对卷积神经网络权重参数θ进行合理设置，所得到的Q

函数可以无限接近最优Q值。由Q函数进一步得到Q网络。Q网络与目标函数的差距值称为损失函数，损失函数的计算主要采用均方差计算法以及估值迭代思想，其计算公式可以如下表示：

L(θ)=Es,a,r;sD[(r+ymaxQ(s′,a′,θi-1Is,a-Q(s,a,θ;))2](4-2)

等式左边是经过i轮更新后，Q网络的目标函数值，D表示经验回收池，智能体每经过t步长后便会自动保存其与环境交互所生成的数据。

损失函数L(θ)的优化过程可以理解为先保持上轮参数θi-1不变，将其优化后再

更新θ,不断重复这一过程来实现监督学习，具体的更新优化方法采用随机梯度下降这一方法，该方法可以用公式表示为

(4-3)

计算过程中，智能体随机的从经验回顾池中选取学习数据，避免连续样本相关性误差，通过此公式迭代计算得到最终的理想Q值。对Q网络进行不断的改

进更新，并将原本Q学习的期望值计算替换为从动作集中采样单一的样本数据，故可将式(4-3)理解为传统Q学习算法的一种新的更新模式。

在深度强化学习进程中，智能体与环境每一次交互前都需先确定自身状态，然后将当前状态输入至神经网络中，然后利用值网络进行计算，求得所有可能的Q值，选取最优Q值所对应的状态a,执行完该动作