哔哩哔哩AI基础设施建设实践.pdf

哔哩哔哩AI基础设施建设实践

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

陆汉城

哔哩哔哩系统部技术专家

陆汉城

哔哩哔哩系统部技术专家

哔哩哔哩系统部技术专家，服务器硬件与系统运维方向负责人。持续跟踪服务器硬件与系统相

关领域的技术发展趋势，结合业务场景规划和推动相关新硬件、新技术落地。目前负责哔哩哔

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

哩服务器选型与引入、服务器资源交付、硬件与系统运维以及相关基础设施平台建设。

曾就职于百度运维部，负责大规模在离线混部BVC平台、GPU算力平台的建设与演进。

1.背景与需求

目2.AI基础设施建设的主要挑战

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

C

O3.AI基础设施建设思路与实践

N

T

E4.总结与展望

N

录T

S

PART01

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨软件领域的前沿发展、最佳实践和创新应用，共同打造大师智慧+实践干货的技术盛宴。

背景与需求

大模型参数量指数级增长，大规模算力资源做支撑

以OpenAIGPT-3为例：

模型参数计算与显存训练时长

•175B参数量•314ZFLOPs•1024张A800GPU

•300BTokens•2800GB•单次训练需要34天

SECon2024全球软件工程技术大会：随着信息革命的飞速发展，软件已深入人类生活的方方面面，深刻而彻底地改造了人类世界。秉承“全球专家、卓越智慧”的宗旨，我们特邀50+全球软件领域的技术领袖以及一线实战专家，融合主题演讲、互动研讨、案例分享、高端培训等多种形式，共同探讨