营销领域 AIGC 前沿进展与挑战-卫海天 .pdf

营销领域AIGC前沿进

展与挑战

卫海天

AIGC发展趋势

•LLM

•多模态

•大模型+插件

LLM技术发展

ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟

以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵

化出ChatGPT文本对话应用。人工智能需要巨大的算力和数据投入，未来将形成大科技场提供基础AI能力，中小场围绕不同场景做

应用的生态竞争格局。

LLM技术发展技术原理

Transformer的模型架构出现使得模型性能大幅提升，chatgpt在transformer结构的基础上迭代升级成为引爆全球的AIGC模型。

LLM技术发展

研究人员发现模型扩展可以提高性能，他们进一步通过增加模型大小来研究扩展效果。有趣的是，当参数规模超过一定水平

时，这些放大的语言模型不仅实现了显著的性能改进，而且还展现了一些小规模语言模型（例如BERT）所没有的特殊能力

（例如上下文学习）

LLM技术发展

为了区分参数规模的差异，研究界为具有显著规模（例如包含数十亿或数百亿个参数）的PLMs创造了一个新术语——大型语言

模型LLM。近年来存在的大型语言模型（大小大于10B）时间线，黄色标记为开源的LLM

CV

AIGC技术：从有约束生成到逼真多样生成

图像与视频AI换脸

视频分析与自动剪辑

创意级图像、视频生成

二维图像三维化

图片-图片的风格迁移文本+图片-图片文本提示词-创意图片....

..

深度学习技术的升级迭代为计算机视觉发展奠定基础

2012年2014年2020年2022年

卷积神经网络（CNN）生成式对抗网络（GAN）VisionTransformer模型扩散模型（diffusion）

在图像分类任务上表现远超传统算生成模型和判别模型的互相博弈，在将NLP领域霸榜的模型引入视觉领域，实现模对数学本质的探索，带来深度学习新范

法，一战成名，开启深度学习时代欺骗与反欺骗中生成最佳的内容。型规模与计算精度的跨越式提升。式，成就引人惊叹的生成效果。

MLLM

尽管在处理自然语言场景中取得巨大的突破，但LLMs在处理图像和音频等多模态数据方面仍然存在困难。而在人类的日常生活

中，我们不仅仅通过语言进行交流，还会使用其他感官，如视觉、听觉和触觉等。且随着互联网的普及和各种传感器的广泛应

用，我们可以收集到大量的多模态数据，图像、音频、视频等数据的总量远远超过文本。同时现实中大量复杂问题的解决也必

然涉及到多个模态的交互，因此在LLMs之后，多模态大模型将