AC-HAPE3D：基于强化学习的异形填充算法.docxVIP

? ? AC-HAPE3D 基于强化学习的异形填充算法 ? ? 朱鹏辉，袁宏涛，聂勇伟，李桂清 AC-HAPE3D：基于强化学习的异形填充算法 朱鹏辉，袁宏涛，聂勇伟，李桂清 (华南理工大学计算机科学与工程学院，广东 广州 510006) 在3D打印、快递物流等领域，需要将形状各异的零件或货物在限定的空间中摆放，称为异形填充。给出一种摆放方案，以便将尽可能多的多面体放入给定容器；或者一批物体紧密地摆放，使得占用体积最小，则称为异形填充问题。这是个NP问题，很难高效求解。基于此，研究在一个可变维度的三维容器内摆放给定的一组多面体，使得打包后容器的可变维度最小。并提出一个基于强化学习的算法AC-HAPE3D，利用启发式算法HAPE3D将问题建模为马尔可夫过程，再利用基于策略的强化学习方法Actor-Critic进行学习。同时用体素来表示容器和多面体，从而简化状态信息的表达，并用神经网络表示价值函数和策略函；为了解决状态信息长度以及动作空间可变的问题，采取遮罩的方法来屏蔽部分输入和输出，并且引入LSTM来处理变长的状态信息。在5个不同的数据集进行的实验表明算法能够取得较好的结果。 异形填充；启发式算法；体素；强化学习；三维打印 三维集装优化问题作为一个经典的组合优化问题，已经有了很长时间研究历史和广泛的应用场景。早期的研究关注解决交通运输中货物运载的优化，其目标要么是在长方体形状的货箱中装入尽可能多的货物，要么是固定长方体中装入尽可能高价值的货物，这样的问题称为三维集装优化问题(3D bin packing problem，3D-BPP)[1]。MARTELLO等[1]对这个问题进行了细致的研究，断定其是一个多项式复杂程度的非确定性(non-deterministic polynomial，NP)问题，并给出了其下界和精确求解算法。此外，也有一些工作[2-4]用启发式算法来求得近似解。 当货物的形状不再是长方体，而是任意的几何形状时，问题就成了三维异形填充(3D irregular packing，3DIP)。其应用场景更为复杂，还经常伴随有额外约束。如，在3D打印中需要将要打印的零件在工作台上进行布局，由于3D打印按层构建的方式，对于零件之间的距离、堆叠都有限制，；在电商行业中，将商品装入快递箱中也需要考虑到货物密度以及用缓冲物填充空隙，这些问题均可以描述为3DIP。 3DIP问题根据优化的目标和约束条件分为不同种类。ARAúJO等[5]依照问题的维度(dimensionality，D)、优化目标(criteria，C)、容器类型(build，B)和问题特性(attributes，A)进行分类。基于此，本文所研究的问题类型为3/Si/Oo/A，即三维，单容器一个维度大小可变，目标是使得可变维度的大小最小，无额外约束，具体描述如下： 此类型的3DIP问题出现在基于选择性激光烧结(selective laser sintering，SLS)的3D打印技术中。在这种情况下，容器的高度一般不是无限的但是足够长，可以视为可变的维度，同时对于打印部件没有诸如支撑结构之类的要求，自由度很高，此时最小化高度即为最小化材料的消耗，因此存在3DIP问题。 1 相关工作 3DIP问题最终归结为组合优化问题，组合优化问题常见的解法在对3DIP的研究中也都有出现，如启发式算法、设计数学模型等等，也有专门的异形填充算法，如临界多边形(no-fit polygon，NFP)方法。 很多早期的研究采用的是启发式算法，如采用遗传算法和模拟退火算法[6-7]。文献[6]为SLS设计了一个基于遗传算法的方法，即在“染色体”上编码了打印部件的顺序和朝向，依据上述信息尝试放置部件，再通过遗传算法来搜索更优的结果。LIU等[8]提出了基于最小化势能的启发式算法(heuristic algorithm based on the principle of minimum total potential energy，HAPE3D)，首先在容器中均匀地放置打包点，并按一定顺序为每个多面体找出势能最小的位置。WANG和HAUSER[9]为机器人自动装货提供了一个高度图最小化(heightmap minimization，HM)启发式算法，考虑了货物放置时的稳定性和可操作性，为每个候选的变换计算货箱内的高度图，再用变换和高度图计算分数，算法结果倾向于稳定，且可操作性强。WU等[10]按照可变尺寸的三维不规则容器、可变尺寸的三维长方体容器和单个容器，将3DIP分解为3个问题，建立了每个子问题的数学模型，并提出了三阶段启发式算法，在真实的随机实例上验证了算法的有效性。 通过数学模型来解决3DIP的方法，最早在文献[11]中提出。其通过将凹多面体分解为凸多面体表示，在其提出的Phi