书生万象大模型的技术演进与应用探索.pdf

书生·万象多模态大模型的

技术演进与应用探索

演讲人：王文海

目录

1多模态大模型研究背景

2大规模视觉语言模型对齐

3强多模态模型构建

4不止于语言输出：通专融合

研究背景：大语言模型多模态大模型

历史:“特定任务+大数据”取得巨大成功未来:“通用性”

一个模型解决一个问题一个模型多种任

务多种模态

深度学习理论突破ImageNet竞赛围棋比赛AlphaFold

深度置信网络1000类，100万数据AlphaGo4:1李世乭蛋白质结构预测准确率新高

2006201220162021

201120142019

大规模语音识别人脸识别德州扑克

Switchboard错误降低9%LFW识别率99%,超过人类首次在多人复杂对局中超越人类

以视觉为核心的多模态大模型有望在众多领域带来AI生产力革命

/OpenGVLab/InternVL

研究背景：大语言模型多模态大模型

Qwen

DeepSeek

InternLM

Baichuan

ChatGLM

enc-dec

dec-only

enc-only

研究背景：大语言模型多模态大模型

InternVL

MiniCPM