基于强化学习的最优化问题程序生成自动化研究.pdf

摘要

程序自动生成一直是软件工程领域研究的重点，如何让机器理解代码和自动

编写程序也是人工智能领域的期望。在算法设计这一过程中，面对不同的问题需

要考虑不同问题的特点、求解目标以及约束条件，从而难以实现算法的可重复构

造。以最优化问题为例，其在生活和工程中的应用无处不在，在面对结构相似的

但数据不同的最优化问题时不得不重新设计算法。通过研究此类优化问题之间的

共性，可以使算法设计过程可重用性更高，帮助人们减少在面对相似问题的算法

设计过程中的脑力活动，提高算法设计的效率和质量。强化学习在求解组合最优

化问题时，通过“交互-试错”学习方式可以学习相同类型问题之间的算法求解策

略，为这些问题可以找到一个可复用的“元算法”算法设计模式，有效避免传统

理论设计的算法需要大量的专业知识进行手工的反复试验问题。

本文基于所在研究团队研发的软件形式化与自动化开发的开发方法PAR及

其支撑平台——PAR平台，基于PAR方法中统一的算法设计方法，为求解图最

优化问题构造了一种可重用的算法设计理论和框架，并将其与强化学习融合起来

以实现算法程序的自动构造。以最短路径和旅行推销员问题为例，通过强化学习

方法学习到的以PAR方法为基础的分划递推的算法构造策略，并通过强化学习

中智能体的动作来捕获当前算法的正确程度，不断的调整算法程序构造策略，为

最优化问题逐步构建成一个合适的解决方案。以此为基础，开发了最优化问题

Radl算法生成系统，并对系统以及生成的算法的可靠性进行了理论分析。

本文主要工作如下，具有一定的创新性：

1.以强化学习的感知和试错的学习方式为核心，结合基于PAR方法提出的

图最优化问题的可重用算法设计理论以及算法框架，将算法程序的构造过程交由

强化学习中智能体来自主探索算法程序设计策略，最终实现了图最优化问题的算

法程序的自动构造，提高了算法程序的开发效率和可复用性。

2.基于强化学习这一途径，为实现图最优化问题的算法程序设计可重用以

及程序自动生成这一目标，设计并实现了解决图类型最优化问题Radl算法程序

自动生成系统，进一步提高了PAR平台中算法程序开发的自动化程度。

关键词：PAR方法；程序生成；算法设计；自动化；强化学习

I

Abstract

Automaticgenerationofprogramshasbeenthefocusofresearchinthefieldof

softwareengineering,andhowtomakemachinesunderstandthecodeandwrite

programsautomaticallyisalsoanexpectationinthefieldofartificialintelligence.In

theprocessofalgorithmdesign,itisdifficulttoachievereproducibleconstructionof

algorithmsbyconsideringdifferentproblemcharacteristics,solutiongoalsand

constraintsfordifferentproblems.Inthecaseofoptimizationproblems,forexample,

whichareubiquitousinlifeandengineering,algorithmshavetoberedesignedwhen

facedwithoptimizationproblemswithsimilarstructuresbutdifferentdata.By

examiningthesimilaritiesbetweensuchoptimizationproblems,wecanmakethe

algorithmdesignprocessmorereusable,assis