多模态大模型加速算法与开发实践-华为+ZOMI酱.pdf

通明湖人工智能开发与应用大会

多模态大模型加速算法与

开发实践

ZOMI酱

华为昇腾生态-技术首席

多模态大模型趋势与挑战

01

目录02MindSpeed-MM介绍

03

应用案例

04

05

趋势与挑战

1.1多模态算力趋势

1.2多模态算法结构

1.1多模态趋势

业界主要的视频生成模型：视频生成大模型催生新应用及新需求：

闭源：Sora（OpenAI）、海螺AI（miniMax）、可灵（快•AI短剧，短视频进入“零基础创作”时代

手）、Pixverse（爱诗科技）、即梦（字节）、通义万相（阿

里）、Runway、Luma•多模态数据推动算力、存储、网络迎来新一轮爆发

开源：清影（智谱）、OpenSoraPlan（北大）、OpenSora

（潞晨）、Mochi、腾讯混元（hunyuanvideo）

AI迭代持续带来爆点应用，多模态大模型将带动更多行业变革

1.1多模态算力趋

势

大模型对集群算力需求快速增长多模态模型参数持续增长

EFLOPS-days

1000Eflops-days

10000

GPT5

Gemini？

？PanGu

100~1000Eflops-days1000？

1000

PanGu

10~100Eflops-daysGPT4

728

100LaMDA

PanGu-α

76PaLM

79