刘广-从理论到实践：剖析Aquila模型的研发过程和未来展望.pdf

ML-Summit2024

全球机器学习技术大会

MachineLearningSummit

2024年4月25-26日·上海

主办方：

合作伙伴：

2024技术会议一技术人的思想盛宴

全球机器学习全球软件研发全球产品经理全球C++及系

技术大会技术大会大会统软件技术大会

ML-Summit2024SDCon2024PM-summit2024CPP-Summit2024

9月5-6日北京7月4-5日北京8月8-9日北京10月17-18日深圳

12月5-6日深圳11月7-8日上海

媒体服务一多形态的技术内容

媒体服务

访谈新闻稿件产品解读产品评测客户案例活动整理专题

权威出版

《新程序员》

聚集全球技术大师、行业技术先锋，从前沿技术到行业先锋，

为您带来全方位的深刻洞见和专业解读。

《中国开发者调查报告》

中国样本丰富的开发者调

查报告，目前已成为完整

准确了解中国开发者市场

的重要参考资料。扫码购买最新

版程序员杂志

ML-Summit2023

刘广智源研究院NLP和多模态中心负责人

北京邮电大学智能科学与技术博士，北京智源人工智能研究院NLP

和多模态研究中心负责人，负责飞智FlagAI开源项目以及悟道·天鹰

Aquila系列基础模型（7B/34B)，主持科技创新2030-“新一代人

工智能”重大项目课题，在人工智能领域学术会议和期刊上发表论

文，发明专利申请十余项，主要研究方向是预训练大模型等。

演讲主题：

从理论到实践：剖析Aquila模型的研发过程和未来展望

从理论到实践

剖析Aquila模型的研发过程和未来展望

刘广

智源基础语言模型与软件组负责人

语言模型的缩放法则（ScalingLaws）

•OpenAI的《ScalingLawsforNeuralLanguageModels》

•模型参数N、训练数据集大小D、算力消耗C

•性能主要与模型大小相关，而与模型结构弱相关

•性能与上面三个因素有比较贴合的power-law关系

•DeepMind《TrainingCompute-OptimalLargeLanguageModels》

•模型参数N和训练数据集大小D应该匹配

•log-linear定律

•模型参数N呈指数增长时，性能呈线性增长

•训练数据集大小D同理4

ScalingLawsandBeyond

ScalingLawWhatdothesescalinglaws