迈向实用化多模态大模型-2024年全球人工智能与大模型开发与应用.pdfVIP

迈向实用化

多模态大模型

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

清华大学/姚远

大模型成为人工智能前沿制高点

•多模态大模型的能力突破，成为大模型前沿发展的新趋势和焦点

•极大拓展大模型能力边界和应用场景，智能跃迁的下一个关键引擎

主要特点多模态能力

基于大数据和人类反馈进行学习，与用户通过对话进

行交互，能够处理多模态信息及多种任务，深层推理

与常识运用能力大幅度提升

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

里程碑事件

2022/11/30OpenAI发布文本对话模型ChatGPT

2023/03/15OpenAI发布多模态对话模型GPT-4

2023/09/20OpenAI发布文生图模型DALL·E3

2023/09/25ChatGPT全面整合多模态能力

2023/12/06Google发布多模态模型Gemini

2024/03/04Anthropic发布多模态模型Claude3

多模态大模型迈向实用的痛点问题

参数多，成本高幻觉多，难置信英文强，中文弱

模型回复与图像内容不符

通常70亿-550亿参数量多数开源模型仅支持英语

开源模型幻觉率60%以上

需要高性能服务器部署服务中文多模态数据少、质量低

高风险场景危害大

用户需上传隐私使用数据难以满足中文用户需求

（自动驾驶、盲人助手等）

AICon全球人工智能开发与应用大会主要面向各行业对人工智能和大模型感兴趣的资深工程师、产品经理、数据分析师，会议聚焦大模型训练与推理、AIagent、RAG、多模态大模型等热门方向，会议不仅安排了精彩的演讲，还策划了包括闭门会议、圆桌交流、互动展区等多种社交活动，一方面为参会人员提供宝贵的交流学习、拓展人脉的机会，另一方面也为相关企业和机构提供一个展示自身实力和成果的舞台。

低质量高质量

中文图文数据质量分布

多模态大模型迈向实用的痛点问题

参数多，成本高幻觉多，难置信英文强，中文弱

端侧大模型多模态人类反馈学习