AIGC驱动下的影视声音创作：技术赋能、思维拓展与风险挑战.pdfVIP

AI视听︱

AIGC

AIGC驱动下的影视声音创作：

技术赋能、思维拓展与风险挑战

文/云南艺术学院电影电视学院刘浪祝仕玲

摘要：

生成式人工智能（GenerativeAI）作为人工智能（AI）技术成果的新一轮代表，正在音频内容生成领域快速发展，逐渐成为驱动影视

声音创作革新的先进生产力。本文通过对现有的AI音频内容生成工具进行研究，分析了AIGC在影视声音创作的不同应用场景下具有的

优势与潜力，并对AI时代下新的创作模式进行了思考与前瞻，提出了由听觉驱动的创意构想。同时，对现阶段AIGC音频的局限和面临

的风险与挑战进行了探讨。

关键词：

AIGC；影视声音；AI音频

随着近年来计算机算力的提升，大数据的积累以及深度学习（DeepLearning）算法的创新，使得生成式人

工智能（AIGC或GenAI）成为目前人工智能（AI）发展成果的新一轮代表。AIGC系统结合深度学习算法，能

够从大量数据中学习和推理，并生成新内容。与传统人工智能相比，生成式人工智能的核心在于能够理解和生成文

本、图像、音频、视频等内容，并且具有高效率、跨模态、高速迭代进化的特点，是创意内容生产的全新方式。

AIGC作为一项新质的前沿技术，被认为具有引领视听内容生产革新的巨大潜力。2022年11月，OpenAI公

司开发的大型语言模型（LLMs）ChatGPT3.5的发布，成为AIGC应用领域的一个里程碑。随后的几年里，尤

其是进入2024年以来，AIGC在音频内容生成领域快速发展，不断有新模型和新技术范式出现。语音合成技术已

经在广告、播客、短视频创作等领域取得了广泛应用。音乐生成方面，引发行业与社会广泛关注的Suno于2024

年6月更新了3.5版本，将生成音乐的最长时间提升至4分钟，并支持用户上传已有音频进行扩展生成。音效生

成方面，Meta于2024年10月宣布了新模型MovieGenAudio，声称该模型能够根据视频和文字信息生成高质

量的电影级音效以及与视频输入同步的音乐，并专业地融合声音效果和背景音乐[1]。不难看出，AIGC正在以前所

未有的方式重塑影视声音创作的流程与方式。

38影视制作

AI视听︱

AIGC

：

1.技术赋能AIGC在影视声音创

作中的应用优势与前景

1.1AIGC赋能特殊音效制作

在音效制作领域，为怪兽、精灵等超现实生物进行

声音设计一直是影视声音创作中的一个重要挑战。随着

数字音频技术的革新，声音创作的手段变得愈加丰富而

便捷，AIGC的赋能更是为特殊音效的制作扫清了大量

的障碍，丰富了声音设计师的专业工具库，甚至成为

“游戏规则”的改变者。

专注于AI音频应用开发的ElevenLabs公司在图1KrotosStudioProAIFoley界面

2024年6月上线了文本到音效（TextToSfx）的功

能。该功能借助音频资源库Shutterstock提供的庞大和Tacotron等基于神经网络的TTS模型极大提升了

音频数据，对其模型进行训练优化，能够生成丰富的音语音的自然度和清晰度。然而，这些模型在生成音频时，

频样本。在文生音频的基础上，允许用户通过输入更详往往仅能基于文本输入，而无法动态调节情感、语气或

细的提示词来微调所需的音频效果，使得音效制作更加音频语境。多模态语音合成模型的出现，打破了这一瓶

灵活与可控。颈。它们通过同时处理文本与音频输入，并结合自然

此外，英国音频创意公司Krotos以独特的方式进语言理解和语音分析能力，实现了更细腻的语音生成。

一步整合了AI音