0904-02 阿里巴巴达摩院：通义mPLUG多模态预训练技术与应用.pdf

通义mPLUG多模态预训练

技术与应用

阿里达摩院

微信公众号：零竖质量

Contents

课程目录1案例简介/背景

2达摩院通义mPLUG多模态预训练模型

3多模态mPLUG新零售场景应用

4案例总结

1

案例简介/背景

微信公众号：零竖质量

案例简介/背景

通义mPLUG多模态预训练技术上的进展，及在电商场景的应用；

•mPLUG相关技术ACL2021，EMNLP2022，TOIS接收，并在GitHub和达摩院

ModelScope开源，在多模态权威核心榜单上取得SOTA，多模态权威核心的视觉

问答挑战赛VQAChallenge2021上取得第一名，首次超越人类基准线。

核心亮点：

•mPLUG多模态权威榜单上取得SOTA，并在ModelScope开源。

•创新的多模态mPLUG层次模块化新零售应用。

微信公众号：零竖质量

新零售多模态应用背景

•5G技术兴起，丰富的多模态内容数据激增，新零售多模态信息处理需求越来越普遍，包括搜索，问答，标

题生成等任务

•淘宝主搜多模态召回•拍立淘主体选择

微信公众号：零竖质量

新零售多模态应用背景

•理解商品图文、视频等内容，在新零售客服领域（店小蜜）构建多源异构多模态问答能力，带来用

户体验、转化率提升，并大量节省卖家配置成本；

•商品详情页问答

•直播视频问答

微信公众号：零竖质量

多模态预训练研究背景-下游任务

VQA2.0ImageCaption

Cross-modalRetrievalVisualGrounding

微信公众号：零竖质量

多模态预训练研究背景

•在2021年之前，AIGC生成的还主要是文字，而新一代的模型可以处理任何内容格式，文字、语音、

代码、图像、视频、3D模型、游戏机的按键、机器人的动作等等

•OpenAIDALL-E2

•GoogleImagen

微信公众号：零竖质量

多模态预训练研究背景-发展趋势

结构/预训

LXMERTUNITER

练任务

视