多模态场景下AIGC的应用综述.pdfVIP

计算机科学与探索1673-9418/2025/19(01)-0079-18

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2404009

多模态场景下AIGC的应用综述

+

岳颀，张晨康

西安邮电大学自动化学院，西安710121

+通信作者E-mail:qingheliu0406@163.com

摘要：虽然生成式人工智能（AIGC）已经能够在单一模态应用领域取得优异成果，可以利用人工智能技术生成文

字、图像、视频等内容，但单一模态的特征表示很难完整包含某个现象的完整信息。为了提高模型的学习性能和生

成能力，学者们提出将多模态信息应用在AIGC中。AIGC能够对输入的多模态信息进行融合，获取更丰富的上下文

信息，帮助模型更好地理解和生成内容。深入探讨了AIGC处理多模态问题的基本架构、工作原理和挑战，并对近年

来与多模态信息结合的AIGC模型进行了分类和归纳。总结了AIGC在多模态图像生成、视频生成、三维形状生成等

方面的应用、挑战和发展方向。在图像生成方面，讨论了生成对抗网络（GAN）模型、扩散模型等技术的应用和局限性。

在视频生成方面，分析了基于扩散模型的视频生成技术，并探讨了音视频联合生成的方法。在三维形状生成方面，

探讨了扩散模型和神经网络指导下的三维形状生成方法。最后提出了AIGC面临的挑战与未来潜在的研究方法。

关键词：生成式人工智能（AIGC）；多模态；大语言模型

文献标志码：A中图分类号：TP18；TP391

SurveyonApplicationsofAIGCinMultimodalScenarios

YUEQi,ZHANGChenkang+

SchoolofAutomation,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China

Abstract:Althoughartificialintelligencegeneratedcontent(AIGC)hasbeenabletoachieveexcellentresultsinthefield

ofsingle-modeapplications,usingartificialintelligencetogeneratetext,images,videosandothercontent,itisdifficult

forasingle-modefeaturerepresentationtocompletelycontainthecompleteinformationofaphenomenon.Inordertoenable

AIGCtoshowgreatergenerationcapability,scholarsproposeapplyingmultimodalinformationintoAIGCtoimprovethe

learningperformanceandgenerationcapabilityofmodels.Byprocessingandintegratingmultiplemodalities,AIGC

acquiresrichercontextualinformation,whichhelpsmodelsbetterunderstandandgeneratecontent.Thebasicarchitecture,

workingprincipleandchallengeofAIGCindealingwithmultimodalproblemsarediscussedindetail,andtheAIGCmod-

elscombinedwithmultimodalinformationinrecentyearsareclassifiedandsummarized.Theapplication,challengeand

deve