紫东太初多模态大模型研究集体.pdfVIP

附件：

紫东太初多模态大模型研究集体

中国科学院自动化研究所

1、推荐单位推荐意见

该研究集体围绕多模态智能领域的国际前沿和国家战略需求，提

出了多模态通用智能基础理论，基于全栈国产化基础软硬件研发了全

球首个千亿参数“紫东太初”多模态人工智能大模型，开拓性提出跨

模态多任务自监督学习等关键技术，实现了图像、文本、语音、视频

等多种模态数据间的“统一表示”与“相互生成”，打通了模态间语

义鸿沟，实现了人工智能模型从“预先定义的模式分类”到“开放式

学习推理”的技术突破，形成了完整的智能表示、推理和生成能力，

迈出了人工智能通用化的重要一步。建立了全栈自主可控多模态大模

型开放服务平台，并在手语教考、交通检测、广电监管、手术导航等

场景实现示范应用。2022年9月获得了世界人工智能大会最高奖项

SAIL奖。

2、代表性论文专著和核心知识产权列表

代表性论文专著列表：

序号论文（专著）名称刊名年卷页码发表时间全部作者

ZhaowenLi,YousongZhu,FanYang,Wei

UniVIP:AUnifiedFrameworkIEEE/CVFConference2022年

2022年6Li,ChaoyangZhao,YingyingChen,

1forSelf-SupervisedVisualonComputerVisionand14627-14636

月18日ZhiyangChen,JiahaoXie,LiweiWu,Rui

Pre-trainingPatternRecognition页

Zhao,MingTang,JinqiaoWang

IEEE/CVFConference

DualAttentionNetworkfor2019年3146-2019年6JunFu,JingLiu,HaijieTian,YongLi,

2onComputerVisionand

SceneSegmentation3154页月16日YongjunBao,ZhiweiFang,HanqingLu

PatternRecognition

Transactionsofthe

SynchronousBidirectionalAssociationfor2019年7卷2019年4LongZhou,JiajunZhang,Chengqing

3