3D内容生成技术及应用场景探究 2024.docx

3D内容生成技术及应用场景探究

中国移动研究院业务研究所

2024年11月

2/18

摘要

随大语言模型与生成式AI浪潮席卷全球，3D内容生成或将迎来自己的ChatGPT时刻。3D内容生成作为新兴3D资产制作手段，为内容创作模式带来了新的变革，极大促进了3D数字化内容生产的效率提升，引起业界的广泛关注。本文探讨了3D内容生成技术的主流方法及其应用领域，尤其在文生3D和图生3D方面，业界已取得不少有代表性的进展。预计3D内容生成将在游戏、电影、通信等领域有广泛的应用，推动数字内容生态的繁荣发展。

一、3D内容生成简介

从最初的基于几何建模的手工创作，到如今的海量数据驱动的AIGC3D生成，3D内容创作的发展经历了多个阶段：

手工3D建模阶段：从1960年代起，计算机3D图形学的基础理论逐渐确立，研究人员提出了如多边形网格、样条曲线和

3/18

NURBS曲面等各种建模技术，并开始利用光栅化和光线追踪算法生成更加逼真的图像。初期3D内容的生成依赖于专业人员使用建模软件进行手动创建，早期的3D建模方法和工具较为原始，3D模型的创建主要依靠艺术家和设计师使用专业软件手工建模，工作流程包括几何建模、纹理贴图、光照设置等，整个过程耗时且成本较高。这一时期的3D内容生成工作量大、耗时长，对建模人员的技术要求较高。

基于扫描与重建阶段：随着计算机硬件和传感器技术的发展，3D扫描与自动化重建技术逐渐兴起，激光扫描和结构光扫描技术能够获取物体和场景的高精度点云数据，并重建其3D模型。这一阶段，3D扫描与重建被广泛用于文物保护、医疗成像、逆向工程等领域，三维模型的生成效率和精度都得到了提升，

不过生成的模型通常还需要后期处理，以优化模型效果和细节。

基于AI的智能3D生成阶段：在深度学习等技术驱动下，3D

4/18

内容生成进入了新的智能化阶段。生成对抗网络（GAN）、变分自编码器（VAE）等模型能够从大量数据中学习并生成新的3D内容，被用于3D模型生成、纹理映射和风格迁移等任务。神经辐射场（NeRF）技术的提出，以及大型语言模型（LLM）和扩散模型（DM）的发展，进一步推动了3D内容生成的能力，现阶段3D

内容生成模型具备了从文本、图像中生成对应3D模型的能力：

文生3D（Text-to-3D）是指通过输入文字描述来生成对应的3D模型。使用自然语言作为与用户交互的方式已经愈发成熟，这种生成方式具有高度的灵活性和创造性，用户可以通过简单的文字描述表达自己的创意和需求，然后由生成式模型生成相应的3D模型。文生3D中，生成质量、多样性和效率是目前业界关注的关键问题。

图生3D（Image-to-3D）是指通过输入二维图像来生成三

维模型。这种方法通常利用了深度学习等技术，通过对大

5/18

量二维图像数据的学习，能够从一张二维图像中推断出物体的三维形状和结构。例如一些应用允许将用户上传的照片转换为3D模型，为用户提供更加生动的视觉体验。此外还可以通过布局或线稿引导来生成相应的3D模型。例如，在建筑设计中，设计师可以通过提供建筑的平面图和剖面图，由3D生成式系统生成建筑的3D模型。3D模型细节还原性、形状和结构推断准确性等是目前业界普遍关注的关键问题。

二、3D内容生成分类

按生成内容类别的不同，3D内容生成可以进一步细化为物体生成、场景生成、人体生成、人脸生成。

物体生成：物体生成主要聚焦从文本或图像中生成特定类别的3D物体模型，通常也是三维环境及场景生成的基础。Text2Shape（2018）是首个尝试利用自然语言描述生成3D形状的工作，基于ConditionalWassersteinGAN。Nvdia的

6/18

GET3D（2022）提出了一种可以生成高质量纹理3D形状的生成模型，能够生成显式纹理3D网格。

场景生成：场景生成的难度比单个物体更大，因为它需要考虑物体之间的空间关系，可以创建丰富多样的场景，为游戏、建筑设计、工业设计等行业提供强大的支持。DreamScene（2024）基于显式表征3D高斯泼溅（3DGS），通过文本生成高质量、视角一致且可编辑的3D场景。斯坦福与MIT近期推出WonderWorld（2024），实现了从单一图像出发在用户实时交互下生成无限延展的3D场景，将交互式3D世界生成推向实时