“互联网+”大学生创新创业大赛“缺”处逢生——基于底层特征融合和多补丁判别器的感知图像外扩.pptxVIP

“缺”处逢生——基于底层特征融合和多补丁判别器的感知图像外扩Perceptual Image Outpainting Assisted by Low-level Feature Fusion and Multi-patch Discriminator 成都信息工程大学组别：本科生创意组负责人：万启慧联系方式场现状及痛点图像外扩可以应用于自然图像外推、全景图像合成、纹理合成、全景视频扩展等重要领域。现有技术仅采用重构损失而缺少高频细节现有技术仅学习到图像内部块信息，输出结果存在不清晰和不自然的问题现有技术时间效率低下且不具有普适性图像外扩在过去引起的关注程度相对较少，但其在现实生活中应用广泛。政策背景2020年3月《加强“从0到1” 基础研究工作方 案》2015年5月《中国制造2025》2019年10月《产业结构调整指导目录（2019 年本）》2021年3月《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》加快机械、航空、船舶、汽车、轻工、纺织、食品、电子等行业生产设备的智能化改造，提高精准制造、敏捷制造能力。正式将机器视觉设备在生产中的应用推向了高潮。重点支持人工智能、云计算和大数据、高性能计算、宽带通信和新型网络等重大领域， 推动关键技术突破。将包括“智能安防，视频图像身份识别系统”、“智慧城市”等在内的人工智能领域列入“第一类 鼓励类”。发展数字经济重点产业，聚焦新一代信息技术，加快关键核心技术创新应用。两大技术方案解决一使用多补丁判别器有效地从不同层次的特征中判断生成的图像。由于对抗训练促进了生成器捕获真实的数据分布，网络可以生成精细合理的、与原始图像高度重合的外扩图像。问题一问题二难以保持已知区域和外扩区域之间的内容一致性无有效地提取图像信息（如结构和纹理信息） 解决二我们提出了一种底层特征融合的感知图像外扩方法：融合编码器的底层特征图中的纹理信息，从而可以利用更复杂的纹理信息以生成更逼真的外扩图像。两大项目优势 我们的图像扩展网络包括生成器、两个并行的判别器和预训练的VGG19网络，这样的结构可以利用更复杂的纹理信息来生成更真实的外扩图像。且在此基础上，我们提出了一种多补丁判别器来增强生成的纹理信息，并促使我们的网络生成更自然、更清晰的外扩图像。 生成器：在训练过程中，将掩模图像和 (的补码)通过通道级联操作连接起来，使两者可以同时进行处理。我们的网络可以为生成的图像生成更复杂的纹理。最后，分别产生了重建图像和生成图像。 判别器：我们设计了多补丁判别器(判别器1和判别器2)来增强生成的纹理信息，有效地从不同的层次特征判断产生的图像是否接近原始图像。最后，生成器掌握了数据的真实分布，该模型可以产生更精细的外扩结果。优势一网 络 架 构图像扩展网络包括重构分支和生成分支。重构分支（顶部的黄色分支）用于输入待补全区域图像，获取其待补全部分的先验信息，重构出原始图像；生成分支（底部的蓝色分支）用于输入缺失图像，利用重构分支得到的先验分布，引导图像的生成过程。我们网络架构的概述两大项目优势与现有的技术相比，我们的技术重点引入了感知损失和风格损失约束生成图像的纹理和风格，改善了传统方法的扭曲模糊结构。应用了感知损失，使用特征提取器提取图像的语义特征，把握图像的底层像素信息和高层抽象特征，进而约束图像的纹理风格，最终生成真实合理的结构，确保已知区域与扩展区域的语义信息一致性，在视觉上消除边界模糊，达到自然、美观的视觉效果，弥补了现有技术仅采用重构损失而缺少高频细节的不足。应用了风格损失，通过特征提取器和Gram矩阵获取图像的整体风格，确保已知区域与扩展区域的纹理风格一致性，促使扩展区域的风格真实自然，弥补了现有技术仅学习到图像内部块信息，输出结果存在模糊不自然的不足。优势二感 知 损 失 和 风 格 损 失?感知损失旨在通过预先训练的VGG19网络提取语义(结构)特征信息。通过限制这些特征的距离，它可以迫使外扩结果在感知上接近真实情况。在形式上，感知损失被定义为： 风格损失旨在提取生成图像的大致风格和真实情况。具体来说，为了捕捉整体风格，我们通过VGG网络提取其特征，计算其Gram矩阵。由于对应的Gram矩阵上的范数约束，外扩图像将逐步接近现实风格。类似地，风格损失定义如下： 感知损失和风格损失分别获取已知区域的语义信息和整体风格，从而有助于网络把握图像的真实纹理风格。方案对比新加坡南洋理工大学计算机科学与工程学院提出的PICnet多元图像补全方法在外扩区域产生模糊、扭曲等现象，效果不和谐、不自然。2019英伟达公司提出的基于部分卷积的不规则孔洞图像修复方法能够减轻来自不规则孔的替代像素的影响，但效率低下，容易产生黑点与扭曲结构。2018在Paris StreetView数据