原创力文档- 1、本文档共97页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
多模态大模型：开放
世界理解
谢春宇/360多模态团队负责人
DataFunSummit#2024
1
1背景
2
2图文多模态大模型
3360多模态大模型探索
4
4业务落地实践
什么是大模型
大算力大数据大
大算力
大数据
大参数
什么是大模型
大参数大算力大数据
大参数
大算力
大数据
背景
o人工智能AGI，我们需要什么？
ChatGPT的发布标志着自然语言处理技术迈入了一个全新的阶段。自2022年底亮相以来，它凭借其惊人的语言生成能力，迅速成为AI领域的焦点。ChatGPT能够进行连贯、深度的对话，甚至创作诗歌、撰写文章，展现出了前所未有的创造力和理解力。这一突破不仅激发了公众对于AI技术的兴趣，还加速了科技界对通用人工智能（AGI）的研究步伐。
在教育、写作、娱乐等多个领域，ChatGPT的应用潜力正在被不断挖掘。教育工作者利用它辅助教学，作家借助它激发灵感，企业则将其融入客户服务，提高了效率与体验。同时，ChatGPT也引发了关于AI伦理、隐私保护及就业市场变革的广泛讨论，促使社会各界思考如何在享受AI红利的同时，建立相应的监管框架，确保技术的健康发展。总之，ChatGPT的出现不仅是技术上的革新，更是对人类社会未来发展路径的一次深刻启示。
背景
o人工智能AGI，我们需要什么？
?GPT4做为新一代的GPT模型
?增加了对视觉模态输入的支持，这意味着它能够理解图像并进行相应的自然语言生成
?增加了多模态能力的GPT4也带来了应用层面的更多可能
?GPT-4V
?增强的视觉能力
?分析和理解图像内容，提供描述、识别对象，甚至解释场景
?根据图像生成创意文本格式
?翻译图像中的文本，强大的OCR能力
?GPT-4O
?具备原生多模态能力
?支持文本、音频、图像任意组合
?性能提升，更快的响应速度
背景
o视觉能力是通用人工智能AGI需必备的基础能力
——人类智能本身高度依赖于视觉感知
理解世界情境感知
理解世界
学习能力识别物体
学习能力
交互能力
预测运动
……
视觉-语言跨模态学习
?Vision-languagecrossmodallearning，亦称为VLP（Vision-LanguagePretrain）、VLM（Vision-LanguageModel），代表性的工作是20年OpenAI的CLIP，开启和引领了CV多模态研究的大模型时代
Li,Yingming,MingYang,andZhongfeiZhang.Multi-viewrepresentationlearning:Asurveyfromshallowmethodstodeepmethods.arXivpreprintarXiv:1610.012061(2016).
视觉-语言跨模态学习
DataSize
0.4B
1.8B
1.8B
5B
5B5B
CLIP20ALIGN21BASIC22DFN23
Radford,Alec,JongWookKim,ChrisHalacy,AdityaRamesh,GabrielGoh,SandhiniAgarwal,GirishSastryetal.Learningtransferablevisualmodelsfromnaturallanguage
supervision.InInternationalconferenceonmachinelearning,pp.8748-8763.PMLR,2021.
视觉-语言跨模态学习
中文图文跨模态模型R2D2
图文跨模态学习带来的基于内容的图文互检能力对于互联网搜索来说具有非常重要的落地价值，来自
文档评论（0）