原创力文档- 9
- 0
- 约7.59千字
- 约 66页
- 2023-07-25 发布于山西
- 举报
阿里云-张杰-万亿参数多模态模型高效训练的架构实践
万亿参数多模态模型高效训练的架构实 践
张杰
阿里云-机器学习平台PAI
高级技术专家
Agenda
多模态模型M6简介
模型训练发展趋势和挑战
分布式框架Whale介绍
Whale分布式实践示例
多模态模型M6简介
模型训练发展趋势和挑战
分布式框架Whale介绍
Whale分布式实践示例
最大中文多模态预训练模型
M6(MultiModality-to-MultiModality Multitask Mega-transformer)
特点：
? 多模态： 图/文 图/文， 利用掩码设计支持多种类型的预训练任务， 如下图所示；
? 模型结构： N层Transforme
您可能关注的文档
- 阿里巴巴淘系-林阳-从第一性原理解读前端设计.docx
- 阿里-王晨纯-云原生时代的应用算力架构.docx
- 阿里云-董登辉-Alibaba FFI 跨语言编程的探索.docx
- 艾普思咨询：2023年6月房地产行业舆情监测报告.docx
- 艾普思咨询：2023婴幼儿奶粉市场发展及舆情分析报告.docx
- 百度-刘经拓-高效神经网络结构设计与压缩.docx
- 百度-星龙-1w节点K8S集群的云原生混部运维与运营实践.docx
- 山东省潍坊市寿光市第一中学2025_2026学年高二下学期周测七历史试题（文字版，含解析）.docx
- 四川资阳市某中学2026_2027学年高二上学期开学考试历史试题（文字版，含答案）.docx
- 四川成都市蓉城联盟2026_2027学年高三上学期开学考试历史试题（文字版，含答案）.docx
- 专题党课：立德树人担使命+培根铸魂育新人.docx
- 新课改-高中物理-选修第3册（10讲）教师版06 B波粒二象性 中档版17.docx
- 新课改-高中物理-选修第3册（10讲）教师版09 A人工核反 基础版25.docx
- 2025-2026年部编版高一历史第8单元中国近代史测试卷.docx
- 2025-2026年部编版高中语文高二下册第7单元课后练习.docx
- 2026-2027年湖南省常德市中考物理高频错题专题卷(有解析).docx
- 2026-2027年湖南省常宁市中考物理易错点专题突破卷(有解析).docx
- 2026-2027年湖南省长沙市中考物理全真仿真测评卷(有解析).docx
- 2026-2027年湖南省株洲市中考物理能力提升模拟卷(有解析).docx
- 2026年中国水平压力叶片过滤器行业市场规模及投资前景预测分析报告.pdf
文档评论（0）