大模型能力技术培训.docx

大模型能力技术培训

让数据智能像水电样简单

语言模型发展历程

?上世纪90年代:语言模型出现,统计学方法,使用前面的词预测下一个词

?2003年:Bengio《ANeuralProbabilisticLanguageModel》,首度将深度学习思想融入语言模型

?2018年:Google提出Transformer神经网络架构,并通过大量文本训练理解语言规则和模式

大语言模型:包含百亿或更多参数的语言模型

?国外:GPT-3(175B)、GPT-4、PaLM(540B)、Galactica和

文档评论(0)

1亿VIP精品文档

相关文档