结合程序内容生成与扩散模型的图像到三维瓷瓶生成技术.pdfVIP

2025年4月图学学报April2025

第46卷第2期JOURNALOFGRAPHICSVol.46No.2

结合程序内容生成与扩散模型的

图像到三维瓷瓶生成技术

1232

孙禾衣，李艺潇，田希，张松海

(1.清华大学致理书院，北京100084；

2.清华大学计算机科学与技术系，北京100084；

3.英国巴斯大学计算机科学系，萨默塞特巴斯133789)

摘要：在传统手工三维内容制作中，三维网格和纹理是构建三维资产的基础。为了提升三维资产的视觉

表现和渲染性能，三维网格通常采用四边面构建，并需具备良好的拓扑结构和合理的UV映射；三维纹理需要与

几何形状相匹配，并保持良好的全局一致性。然而，当前基于潜在扩散模型的三维内容生成技术尚且未能满足这

些标准，限制了其在实际应用中的潜力。与此同时，程序内容生成技术因其能够根据规则创建大量符合行业最佳

实践的三维资产，在游戏和建筑行业中得到了广泛应用。为了提升生成资产的可用性，提出了一种结合程序内容

生成与扩散模型技术的综合解决方案。以三维旋转体中具体的瓷瓶对象为例，将图像到三维资产的生成问题细分

为2个主要任务：三维网格重建和三维纹理生成。在三维网格重建方面，创建了一个新颖的瓷瓶生成程序，并训

练深度神经网络学习图像特征与程序参数之间的映射关系，从而实现二维图像到三维模型的重建；在三维纹理生

成方面，提出了一种新颖的两段式纹理生成策略，该策略结合了多视角图像生成和多视角一致性采样技术的优势，

可以生成具有全局一致性的高清纹理贴图。总结而言，提出了一种可以基于图像自动构建三维瓷瓶资产的方案，

此方案可以推广到其他三维旋转体内容的生成，并有望应用于其他品类的三维内容生成。

关键词：扩散模型；程序内容生成；三维重建；纹理生成；深度学习

中图分类号：TP391DOI：10.11996/JG.j.2095-302X.2025020332

文献标识码：A文章编号：2095-302X(2025)02-0332-13

Imageto3Dvasegenerationtechnologycombiningproceduralcontent

generationanddiffusionmodels

1232

SUNHeyi,LIYixiao,TIANXi,ZHANGSonghai