面向图像重建任务的条件图生成对抗网络研究.pdf

面向图像重建任务的条件图生成对抗网络研究

摘要

图像重建任务中的碎片重组是计算机视觉领域的经典问题。碎片重组是将散乱的碎

片图像重新拼接为一张完整的图像。它在文档碎片罪证恢复、古籍绘本及壁画恢复等诸

多领域有着重要的应用。人工手动拼接碎片是一个极其繁重的体力和脑力劳动。在计算

机视觉技术诞生伊始，相关领域的专家便希望能够借助于计算机的大规模信息处理能力

代替人工从事这份工作。因此，开发一种图像自动重建技术是迫切需要的。但目前主流

的图像重建算法仍存在着算法复杂度高、碎片误匹配以及拼接对齐效果差等问题。

为了解决这些问题，本文提出了一种新的网络模型，即，条件图生成对抗网络

2

CGraphGAN（简称，CGAN）。该模型能够确定碎片之间的匹配关系，进而实现碎片图

像的重组。本文开展了面向图像重建任务的条件图生成对抗网络研究，主要研究内容包

括：

（1）针对算法复杂度高问题，本文将图像重建问题转化图重建问题，即，将碎片重

组问题转化为生成图问题。其中，碎片被视为生成图中的节点，碎片与碎片之间的邻接

关系被视为生成图中的边。此时，便可以通过求解生成图问题来解决碎片重组问题。这

种方式极大地降低了算法复杂度。

（2）针对碎片之间误匹配问题，本文将碎片边缘特征的相似性被定义为节点之间

2

边的权重。在此基础上，本文创新性地提出了条件图生成对抗网络CGAN，用来生成待

重构图像的图拓扑和邻接矩阵。此外，本文还设计了人工手动可调节条件量用于平衡模

型的效率和精度，以此来适应不同应用场景的需求，如恢复和固定犯罪证据对于时限的

要求较高，而文物壁画的重建则对精度的要求较高。

（3）针对碎片拼接对齐效果差问题，本文提出了分区聚类拼接算法。该算法在待拼

接碎片数量较多时效果明显，它首先进行局部碎片的拼接，再将拼接后的碎片视为一个

整体，最后进行全局拼接。该算法能够有效地减少全局累积误差，提高拼接效率。

本文在三个公开的数据集进行了实验验证，并对比了四种图像拼接领域的经典算法。

此外，本文还设计了消融实验，以验证不同模块的作用效果。实验结果表明，本文提出

2

的CGAN模型在碎片成对匹配中的表现优异，分区聚类算法能够在保证较低时间复杂

度的情况下实现较好的拼接效果。

关键词：图像拼接；条件图生成对抗网络；图像金字塔；分区聚类拼接算法

面向图像重建任务的条件图生成对抗网络研究

Abstract

Fragmentreconstructioninimagereconstructiontasksisaclassicprobleminthefieldof

computervision.Fragmentreassemblyistheprocessofrejoiningscatteredfragmentimages

intoacompleteimage.Ithasimportantapplicationsinmanyfieldssuchastherecoveryof

documentfragmentsandevidence,therecoveryofancientpicturebooksandmurals,etc.

Manuallyjoiningthepiecestogetherisanextremelyarduousphysicalandmentaltask.Atthe

beginningofthebirthofcomputervisiontechnology,expertsinrelatedfieldshopedtousethe

large-scaleinformationprocessingcapabilitiesofcomputerstoreplacemanuallaborinthisjob.

Therefore,itisurge