高效端侧大模型的技术趋势与产业应用观察 井晨哲 .pdfVIP

高效大模型技术创新

与应用发展观察

演讲人：

井晨哲

面壁智能/OpenBMB开源社区

规模法则ScalingLaw：通用人工智能曙光初现

大语言模型的模型性能随着计算量增加不断提升

以ChatGPT（GPT-3.5）、GPT-4为代表的超大规模语言模型（深度神经网络）在众多任

务中取得了优越的成绩，通用人工智能曙光初现

困

惑

度

注：困惑度常用于反映大语言模型的能力，其值越低模型性能越好；圆圈大小表示模型训练计算量

GPT-4在多项专业考试中的排名

已经超越大部分人类[2]

模型性能随计算量不断提升[1]

大模型发展面临资源受限难题

进入2025年，规模定律面临训练数据和计算资源方面的可持续发展问题

？