基于深度强化学习的智能家庭HVAC控制系统建模与优化研究.pdfVIP

摘要

随着物联网技术与人工智能技术的进步，智能家庭能源系统得到了长足的发

展。在组成智能家庭系统的多种系统之中，空调与通风设备（Heating,Ventilation,

Air-conditioningandCooling,HVAC）所组成的系统负责室内温度的调控并影响人

体舒适度，占据了家用建筑能耗的大半。因此针对家庭HVAC系统进行智能控

制一直是研究的重点。近些年的研究主要采用基于规则与模型的控制方法，这两

种方法都较为成熟。然而，随着居住建筑的组成要素日益增多，各要素之间的影

响关系日趋复杂，对家庭HVAC系统进行智能控制也变得愈加困难。为了解决

以上问题，利用人工智能技术对家庭HVAC系统进行智能控制的研究受到关注。

但目前所开展的研究上存在信息利用不足与优化评价指标不完全等问题。因此，

亟需对该项技术展开深入研究。

在本文中，首先对家庭HVAC系统所在的热环境进行了建模，基于此模型，

利用深度学习长短期记忆网络（Longshort-termMemory，LSTM）对未来状态信

息进行预测。结合未来状态信息，提出了融合未来状态信息的深度强化学习家庭

HVAC系统智能控制方法。主要工作内容和结论如下：

（1）建立了家庭HVAC系统热环境模型，充分考虑了影响室内温度的7种

因素，采用迭代计算的方式修正热模型使其能够更加准确的反应室内温度的变化。

引入平均预测投票（PredictedMeanVote，PMV）标准，建立了综合考虑能量成

本与人体热舒适度的综合评价标准。

（2）利用LSTM方法对未来状态信息进行了预测。验证了不同超参数对于

该方法效果的影响。采用平均绝对误差与平均百分比绝对误差对预测效果进行了

衡量，结果显示预测精度明显提升。

（3）利用深度强化学习方法PPO（ProximalPolicyOptimization）对家庭

HVAC系统进行了智能控制。将家庭HVAC系统的控制过程转化为马尔科夫决

策过程，采用Actor-Critic架构，将离散动作空间转化为连续动作空间。利用LSTM

网络所预测的未来状态信息与当前状态信息相融合，拓展了智能的决策所用的状

态信息。与其它方法相比，所提出的方法在能量成本、人体热舒适度以及控制温

度的稳定性上均表现出了明显的优势，能量成本下降了24.29%

综上所述，综合考虑能量成本、人体热舒适度以及控制温度的稳定性，所提

出的结合未来状态信息的深度强化学习家庭HVAC智能控制系统具备明显优势。

关键词：HVAC系统，PMV，深度学习，深度强化学习，优化

ABSTRACT

WiththeprogressofInternetofThingstechnologyandartificialintelligence

technology,intelligentdomesticenergysystemhasbeendevelopedbyleapsandbounds.

Amongthevarioussystemsthatconstituteintelligenthomesystems,thesystem

composedofheating,ventilation,airconditioningandcooling(HVAC)isresponsible

fortheregulationofindoortemperatureandaffectshumancomfort,accountingforthe

majorityofdomesticbuildingenergyconsumption.Therefore,intelligentcontrolof

domesticHVACsystemhasbeenthefocusofresearch.Inrecentyears,theresearch

mainlyadoptsthecontrolmethodsbasedonrulesandmodels,