鲍中帅：万卡级超大规模智算集群网络运维挑战及实战.docx

万卡级超大规模智算集群网络运维挑战及实践

鲍中帅

科大讯飞·基础架构网络总监

鲍中帅

基础架构网络总监

12年从业经验，擅长大规模网络架构设计及运维

业内第一个超大规模国产万卡智算集群网络架构师

亚太地区领先的人工智能企业数据中心网络部门负责人

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

大模型发展及国产化集群介绍

目录02万卡智算集群运维关键痛点

目录

03万卡智算集群运维创新实践

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

01大模型发展及国产化集群介绍

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

认知大模型的“智能涌现”推动了通用人工智能的技术阶跃

2022年11月30日

ChatGPT正式发布

上线2个月活跃用户过亿

2023年3月15日发布GPT-4

11月7日发布GPT-4Turbo

当前用户量突破17亿

2023年10月

Gartner发布2024年十大战略技术

趋势，到2026年将有超过80%企

业使用通用人工智能

2023年4月28日

中共中央政治局会议提出要重视

通用人工智能发展

2024年3月

《政府工作报告》：深化大数据、人工智

能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群

2023年12月11-12日中央经济工作会议强调：

要大力推进新型工业化，发展数字经济，加快推动人工智能发展

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

国际大模型产业竞争目前呈现“激烈迅猛”之势

14日OpenAI发布多模态大模型

GPT-4，综合能力远超ChatGPT

OpenAI

OpenAI7日凌晨发布GPT-4Turbo，六大升级，支持128k上下文输入，同时推出OpenAI应用商店GPTStore

3月5日发布Claude

3月5日发布Claude3支持200k上下文，更强的推理、数学、编码能力

Anthropic

Google发布了新一代多模态大模型

Gemini1.5Pro，最高支持1000万上下文长度，GSM8K评测全球第一

2024.2.162023.052023.12

2024.2.16

2024.3.52023.112024.2.152023.03

2024.3.5

2023.112024.2.15

OpenAI16日发布的文生视频模型

OpenAI

16日发布的文生视频模型，其效果显著超越了业界现有同类产品的水平

Google

首次发布Gemini1.0，多模态能力效果

惊艳，MMLU测试中首次超过人类专家

重磅发布LIMA65B并于7月19日发布免费商用开源模型LIama2

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

科大讯飞坚定投入和深度参与国产AI芯片软件生态建设

科大讯飞自2019年10月被美国纳入实体清单以来，与华为等国产优秀AI芯片合作伙伴深度协同攻关加速国产AI芯片软件生态建设，AI国产化取得重要进展，为突破美国大模型算力卡脖子奠定基础

算法工具包联调优化模型试测缺失算子补充低效算子优化

算法工具包联调优化

模型试测缺失算子补充低效算子优化

语音输入等不定长算子加速

语音输入等

不定长算子

加速

面向异构

NPU的推理

加速

基础算子库和工具链

异构国产算力

异构国产算力

调度

和框架适配

5款+国产GPU芯片适配

200个+底层算子优化

50个+模型国产化移植

建成5个国产化云服务集群20亿次/日服务请求

47%全网请求占比

99.99%云端实时成功率

GO

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

国际领先的星火图文识别大模型

复杂版面的高精度解析覆盖31个场景、18类关键要素融合篇章语义的文字识别

复杂版面的高精度解析

覆盖31个场景、18类关键要素

95%93%94%91%92%90%88%85%91%88%91%91%产品